Représentations du feedback dans l'apprentissage humain

Representations of feedback in human learning

• Auteur / Autrice : Wai Ying Chung
• Direction : Florian Waszak
• Type : Thèse de doctorat
• Discipline(s) : Neurosciences
• Date : Soutenance le 26/02/2024
• Etablissement(s) : Université Paris Cité
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Centre Neurosciences intégratives et cognition (Paris ; 2019-....)
• Jury : Président / Présidente : Karine Doré-Mazars
• Jury : Examinateurs / Examinatrices : Arnaud Badets, Simone Schütz-Bosbach
• Jury : Rapporteur / Rapporteuse : Marc Buehner, Andrea Kiesel

Mots clés

Mots clés contrôlés

Prédiction (psychologie)

Récompense (psychologie)

Prise de décision

Apprentissage contextualisé

Apprentissage moteur

Apprentissage cognitif

Mots clés libres

Traitement des retours

Apprentissage par renforcement

Prédictions d'effet d'action

Prise de décision

Feedback processing

Reinforcement learning

Action-effect predictions

Decision making

Résumé

L'acquisition de compétences cognitives et motrices est essentielle à toutes les étapes de notre vie et dépend de façon critique des retours que nous recevons de l'environnement, fournissant des informations sur la possibilité et la manière d'améliorer. Le cadre théorique dominant caractérisant l'apprentissage par retour d'information est fourni par l'apprentissage par renforcement. Cependant, l'accent principal de ce cadre se situe sur la manière dont les erreurs de prédiction guident l'apprentissage, soulignant un aspect assez direct du retour d'information - s'il est meilleur ou pire que prévu. En réalité, le contexte dans lequel le retour d'information est donné et la connaissance des individus sur leurs propres actions influencent considérablement la manière dont nous extrayons les informations du retour. De plus, ils jouent un rôle central dans la détermination de la mesure dans laquelle ces informations sont utilisées pour faciliter le processus d'apprentissage. Les objectifs de ce projet de doctorat sont d'élargir les conceptions actuelles de l'apprentissage à partir des retours d'information en explorant les formes riches d'informations qui peuvent être extraites pour favoriser un apprentissage flexible. Pour atteindre ces objectifs, nous avons mené des expériences axées sur l'examen de l'utilisation des retours pour améliorer l'apprentissage et la prise de décision, spécifiquement dans la détermination de la poursuite de l'apprentissage d'une même tâche et le moment d'arrêter les comportements d'exploration. Cela inclut également la prise en compte de l'impact des estimations internes des individus sur leur propre performance et la fiabilité des retours sur les processus d'évaluation des retours et de prise de décision. De plus, nous avons étudié la génération de prédictions d'effet d'action dans différents types d'actions basées sur l'intention et leur impact sur le traitement neuronal des retours et les ajustements comportementaux subséquents. Nos résultats ont démontré la présence de prédiction d'effet d'action dans les actions basées sur l'intention, indépendamment du choix de l'action, de son timing, ou de la décision de réaliser ou de se retirer d'une action. Cette découverte révèle que, bien que différents types d'actions intentionnelles puissent avoir des fondements neurobiologiques distincts, ces différences n'influencent pas de manière significative l'apprentissage et la prédiction des effets d'action. Ayant établi une base solide concernant la capacité humaine à anticiper les conséquences du comportement intentionnel, nous avons ensuite montré que la décision d'abandonner une tâche n'est pas seulement influencée par la valence du retour d'information, mais aussi par l'estimation personnelle de sa propre performance. De plus, les informations sur la fiabilité du retour d'information impactent significativement son traitement, en particulier en ce qui concerne l'effet sur la confiance dans l'apprentissage et l'adaptation des stratégies comportementales. Dans son ensemble, cette thèse met en lumière la flexibilité remarquable avec laquelle les humains utilisent les retours d'information pour faciliter l'apprentissage, un processus qui dépasse de loin la simple catégorisation des retours en positifs ou négatifs. Elle révèle comment les individus intègrent de nombreuses informations sur leur comportement pour prendre des décisions éclairées sur l'utilisation des informations de retour. Ces découvertes améliorent notre compréhension de la manière dont les personnes apprennent à partir des retours dans la vie réelle et soulignent l'importance d'incorporer des facteurs contextuels et individuels, tels que la confiance, la conscience de l'erreur, et la fiabilité du retour, dans la recherche. Ces facteurs sont cruciaux pour déterminer comment le cerveau traite les informations de retour et peuvent influencer significativement les progrès d'apprentissage individuels.

The acquisition of cognitive and motor skills is vital at all stage of our life and it depends critically on feedback we received from the environment, providing information on whether and how improvement can be made. The dominant theoretical framework characterising feedback learning is provided by reinforcement learning. However, the primary focus of the reinforcement learning framework lies in how prediction errors guide learning, emphasising a relatively straightforward aspect of feedback ' whether it is better or worse than expected. In reality, the context in which feedback is given and individuals' knowledge of their own actions significantly influence how we extract information from feedback. Furthermore, they play a pivotal role in determining the extent to which this information is utilised to facilitate the learning process. The objectives of this PhD project are to expand current conceptions of learning from feedback by exploring the rich forms of information that can be extracted from feedback to drive rapid and flexible learning. To achieve these objectives, we have conducted experiments focused on examining how feedback is utilized to improve learning and its application in decision-making, specifically in determining whether to continue learning the same task and when to stop exploration behaviours. This also involves taking into account the impact of individuals' internal estimates of their own performance and the reliability of feedback on the feedback evaluation and decision-making processes. Additionally, we investigated the generation of action-effect predictions in different types of intention-based actions and the role of these predictions in error detection, as well as their impact on the neural processing of feedback and subsequent behavioural adjustments. Our findings demonstrated the presence of action-effect prediction in intention-based actions, regardless of whether the action choice was based on the selection of action, the timing of action, or the decision to perform or withdraw from an action. This finding, the first of its kind, reveals that while different types of intentional actions may have distinct neurobiological underpinnings, these differences do not significantly influence the learning and prediction of action-associated effects. Having established a robust foundation regarding human ability to anticipate the consequences of intentional behaviour, we then illustrated that the decision to give up on a task is not solely influenced by the valence of the feedback, whether positive or negative, but is also controlled by an individual's estimation of their own performance. Furthermore, information about feedback reliability significantly impacts how feedback is processed, particularly in terms of its effect on people's confidence in their learning and the adaptation of behavioural strategies. Altogether, this thesis sheds light on the remarkable flexibility with which humans use feedback to facilitate learning, a process that extends far beyond the simple categorization of feedback as positive or negative. It reveals how individuals integrate a wealth of information about their behaviour and the feedback itself to make informed decisions on how and whether to utilise the feedback information. These findings enhance our understanding of how people learn from feedback in real-life scenarios and underscore the importance of incorporating contextual and individual factors, such as confidence, error awareness, and feedback reliability, into our research. These factors are crucial in determining how the brain processes feedback information and can significantly influence individual learning progress.