Biais d'apprentissage par renforcement dans la population générale et clinique

Reinforcement learning biases in general and clinical population

• Auteur / Autrice : Henri Vandendriessche
• Direction : Stefano Palminteri
• Type : Projet de thèse
• Discipline(s) : Sciences cognitives
• Date : Inscription en doctorat le ; Soutenance le 21/06/2024
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Neurosciences Cognitives et Computationnelles
• Partenaire(s) de recherche : Equipe de recherche : Human Reinforcement Learning
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure
• Jury : Président / Présidente : Fabien Vinckier
• Jury : Examinateurs / Examinatrices : Stefano Palminteri, Camilla Nord, David Sander, Julien Bastin, Charlotte Jacquemot
• Jury : Rapporteur / Rapporteuse : Camilla Nord, David Sander

Mots clés

Mots clés libres

Apprentissage par renforcement

Récompense

Punition

Marqueurs comportementaux

Biais

Modélisation computationalle

Reinforcement learning

Reward

Punishement

Behavorial markers

Biases

Computational modeling

Résumé

L'apprentissage par renforcement (AR) est un terme polysémique qui varit selon les domaines. Il tire son origine de la combinaison de théories de l'apprentissage animal, comme le conditionnement ou le behaviorisme, et de la formalisation mathématique d’algorithmes de machine learning. En psychologie, l'AR est un type d'apprentissage omniprésent tout au long de la vie. Via une succession d’essais et erreurs, les humains tirent des enseignements de leurs expériences passées pour améliorer leurs choix futurs afin de maximiser les récompenses et de minimiser les punitions. En neurosciences, l'AR fait référence à un réseau cérébral spécifique, le circuits cortico-basal ganglia qui est censés encoder les valeurs de AR. En machine learning, le AR fait référence à une famille de modèles et d'algorithmes qui optimisent les actions d’un agent dans un environnement donné. L'interaction de ces trois domaines a permis d’étudier la manière dont l'homme intègre les informations et les biais systématiques qui en résultent. La modélisation de tâches d’AR (problème du bandit à plusieurs bras) permet une caractérisation fine des stratégies humaines d'apprentissage. Les paramètres computationnels obtenus sont utilisés pour inférer l’implémentation de tels mécanismes au niveau neuronal. Le cadre global de l’AR est un outil puissant pour étudier la prise de décision chez l'homme, mais c'est aussi un excellent outil pour investiguer les différences inter groupes et/ou populations. À cet égard, la psychiatrie computationnelle vise à faire correspondre les paramètres des modèles aux dimensions psychiatriques afin d'améliorer la compréhension, la prédiction et le traitement des troubles mentaux. Le présent travail vise à comprendre pourquoi et comment la prise de décision humaine s'écarte souvent des modèles normatifs, entraînant des comportements sous-optimaux dans les populations générale et clinique. Dans une première expérience, nous avons étudié le biais de négativité chez des patients souffrant de troubles dépressifs majeurs. La population clinique a été comparée à un groupe de contrôle apparié dans une tâche d'AR. Les résultats comportementaux et computationnels ont révélé une dépendance au contexte dans la population clinique, montrant une tendance générale au biais de négativité. Nous avons ensuite cherché à valider et à étendre ces résultats dans une étude de modélisation sur une réplication en ligne du premier projet. Cette approche nous a permis une meilleure caractérisation du biais de dépendance au contexte présent dans notre tâche. Nos résultats montrent que plusieurs modèles sont capables de capturer les spécificités des performance des participants, à savoir les modèles de reference point centering et de range adaptation. Par la suite, nous avons voulu sonder l'intégration de l'information sur les résultats dans l'attention visuelle pour voir son impact sur la prise de décision à l'aide de l'oculométrie. Avec une nouvelle tâche de bandit à deux bras avec récompenses multiples, nous avons cherché à étudier comment les individus traitent plusieurs récompenses pour un seul choix. Nous avons étudié la manière dont ils apprennent malgré le processus de sélection aléatoire. Nos résultats ont montré au niveau comportemental, computationnel et oculométrique que les participants ont tendance à sur-pondérer les feedback positifs dans les situations présentant des récompenses contradictoires. Dans l'ensemble, ces études tentent de mieux comprendre et d'expliquer les mécanismes cognitifs complexes dans la prise de décision. En utilisant des tâches cognitives en laboratoire et en ligne, des modèles computationnels d'AR et l'oculométrie, ce travail représente un effort vers une compréhension mécanistique des biais de prise de décision et a donc l'ambition de contribuer au débat sur la question de la rationalité limitée humaine et son implication dans les maladies neuropsychiatriques.

Reinforcement learning (RL) is a polysemic term that has slightly different meanings in machine learning, psychology and neuroscience. Its origin comes from the combination of animal learning theory like conditioning or behaviorism and mathematical formalization in algorithms from machine learning. In psychology, reinforcement learning is a type of pervasive learning across lifespan. Through trial and error, animals and human learn from past experience to improve future choices in order to maximize the occurrence of pleasant outcomes (rewards) and minimize unpleasant ones (punishments). In neuroscience, reinforcement learning reflects a specific brain network, cortico-basal-ganglia loops and especially the striatum that are thought to encode RL values. In machine learning, it refers to a family of models and algorithms that optimize actions of agents in a given environment. The interaction of these three variations of the same concept has formed a great tool to study how human are integrating information and the resulting systematic biases. The combination of modeling on multi-armed bandit tasks allows for a fine grained characterization of human strategies in trial and error learning. The computational parameters obtained can be used to make inferences of what could be the implementation of such mechanisms in brain. The global framework of RL is a powerful tool to study value-based decision making in human but is also a great tool to compare different groups and populations. In that regard, computational psychiatry aims to map model variables onto psychiatric dimensions in order to improve understanding, prediction and treatment of mental conditions. The present work is an attempt to understand why and how human decision making often deviate from normative models, leading to sub-optimal decision-making in general and clinical population. In a first experiment we investigated the negativity bias in patients suffering from major depressive disorder. The clinical population was compared to a matched control group in a reinforcement learning task. Both behavioral and computational results revealed a context dependence in the clinical population, showing a general tendency toward a negativity bias. Thereafter we sought to validate and extend those results with a modeling investigation on an online follow-up of the first project. This approach allowed us to implement a more robust modeling strategy to characterize the context dependence bias present in our task with more complex models thanks to a bigger and more naturalistic sample. Our results show that several models are able to capture participants pattern of performance and namely reference point centering and range adaptation models. Later on, we wanted to probe outcome information integration in visual attention to see its impact on decision making using eye-tracking. With a new designed multi-outcomes two-arm bandit task that involves a random reward selection process, we aimed at investigating how individuals process multiple outcomes for a single option. We looked at how they learn despite the random reward selection process. Our results showed at behavioral, computational and eye-tracking level that participants tend to overweight positive feedback in incoherent situations with contradictory outcomes. Taken together, these studies are trying to further understand and explain complex cognitive mechanisms at play in value based-decision making. Using cognitive in-lab and online tasks, computational reinforcement learning modeling and eye-tracking, this work represents an effort toward a mechanistic understanding of the trade-offs at play in human decision-making and have therefore the ambition to contribute to the debate about the ultimate sources of human bounded rationality and its implication in neuropsychiatric conditions.