Dynamiques dopaminergiques dans la prise de décision : rôle dans la variabilité et l’exploration

Dopaminergic dynamics in decision making : role in Variability and Exploration

• Auteur / Autrice : Maxime Côme
• Direction : Philippe Faure
• Type : Thèse de doctorat
• Discipline(s) : Neurosciences
• Date : Soutenance le 02/10/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Plasticité du cerveau (Paris ; 2014-....)
• Jury : Président / Présidente : Daniela Popa
• Jury : Examinateurs / Examinatrices : Brice Bathellier, Paul Apicella
• Jury : Rapporteur / Rapporteuse : Shauna Parkes, Arthur Leblois

Mots clés

Mots clés contrôlés

Souris de laboratoire

Système de récompense cérébrale

Prise de décision

Récepteurs dopaminergiques

Dopamine

Mots clés libres

Prise de décision

Variabilité

Exploration

Dopamine

Decision making

Variability

Exploration

Dopamine

Résumé

Variabilités intra et inter-individuelles s’observent autant dans la nature que dans des expériences de prise de décision. Elles sont favorisées lorsque l’environnement ou la tâche sont complexes, dynamiques ou changeants, mais apparaissent même lorsque les animaux font face à la même situation de façon répétée. Pourtant les bases neurales de la variabilité et de l’exploration demeurent peu comprises. Le circuit dopaminergique (DA) méso-limbique (Aire Tegmentale Ventrale, Noyau Accumbens) est impliqué dans i) l’encodage de valeur, ii) la représentation de contingences en signalant des prédictions et erreurs, iii) la motivation d’actions dirigées vers un but, et iv) la mise en place de stratégies de choix adaptatives et flexibles. Ce système biaise nos choix futurs vers la répétition d’actions associées à des hautes valeurs, mais est aussi impliqué dans la modulation de paramètres de stratégie comme la balance entre exploitation et exploration. Au cours de ma thèse, j’ai questionné les dynamiques DA dans les décisions dirigées vers un but exploratoires, et comment elles affectent les variabilités intra et inter-individuelles.Pour cela, j’ai utilisé une tâche de conditionnement où des souris apprennent à produire des séquences de choix binaires pour collecter des récompenses (ICSS) en alternant des visites entre trois cibles dans une arène circulaire et suivant différentes règles de distribution. Une première règle déterministe récompense chaque cible (p=100%). Dans une autre, chaque cible est associée à une probabilité (p=100%, 50% ou 25%) que les souris peuvent apprendre, construisant et stabilisant ainsi une représentation de contingences, et appliquent ensuite une stratégie. Dans un troisième cadre, complexe, les souris sont récompensées quand elles génèrent des séquences non-répétitives (choisissant la cible qui augmente la complexité de la séquence). L’analyse du comportement locomoteur et de choix dans la tâche est couplée à des enregistrements d’activité de neurones DA de la VTA en tétrodes, et de libération de DA dans le NAc en fiber photometry.Dans une première étude, nous identifions trois archétypes stratégiques dans la tâche probabiliste, chaque animal étant décrit comme une combinaison de chaque et étant plus proche de l’un d’eux (définissant un profil). Une exposition chronique à la nicotine i) augmente l’activité DA de repos et ii) affecte ces profils différemment, les poussant globalement vers plus d’exploitation. En augmentant ou diminuant l’activité DA en ligne par optogénétique, nous récapitulons les effets de la nicotine et modulons la balance exploitation / exploration en ligne pour chaque souris. Dans une deuxième étude, des analyses comportementales et computationnelles en cadre complexe montrent que les souris augmentent progressivement la variabilité dans leurs séquences de choix, et renforcent une stratégie pseudo-aléatoire sans utiliser de mémoire de leurs choix précédents. Dans une troisième étude, nous montrons que la libération phasique de DA dans le NAc encode valeur obtenue, prédiction et erreur, d’une façon suggérant des représentations neurales différentes selon les contingences de la tâche et la règle de distribution des récompenses. En déterministe, la DA encode des pics aux récompenses, qui sont réduits par rapport à des ICSS inattendus. En complexité, la DA signale, au coup par coup, des pics (récompenses) et creux (omissions) dont l’amplitude varie selon l’historique local de résultats, suggérant un calcul en ligne de valeur attendue, mise à jour à chaque essai, mais sans effet sur le choix. En probabiliste, où les contingences peuvent être apprises, pics et creux sont modulés par la probabilité seulement après apprentissage, supportant l’idée de construction de valeur attendue pour chaque cible. De plus, les souris montrant un écart important dans ce corrélat DA de valeurs attendues en chaque cible sont aussi plus exploitantes (visitant les cibles 100% et 50% plus fréquemment).

Intra and inter-individual variability in decision making are very common observations both in the wild and in experimental decision making setups, especially when the environment or the behavioral paradigm is complex, dynamic or changing, but arise even when animals repeatedly face the same situation, for instance in decision-making paradigms. Yet, the neural bases underlying variability and exploration are still poorly understood. The meso-limbic (Ventral Tegmental Area – Nucleus Accumbens) dopaminergic (DA) circuit has been implicated in i) the encoding of value, ii) the representation of contingencies through prediction and error signaling, iii) the motivation of goal-directed actions, iv) and the implementation of adaptive and flexible cognitive choice strategies. This system bias future choices towards the repetition of highest value options (exploitation). However, DA tonus has also been involved in modulating strategy parameters such as the exploitation/exploration balance. This work aims to assess DA dynamics in exploratory goal-directed decisions and elucidate how they affect both intra and inter-individual variability.We designed a conditioning task where mice learn to perform sequences of binary choices to obtain rewards. Mice must alternate between three locations in a circular arena to collect ICSS rewards, following different reward delivery rules. First, a deterministic rule gives a reward at each location (p=100%). In another setting, each target is associated with a given probability (p=100%, 50% or 25%), so that mice can learn which are which, build a neural representation of those contingencies, and apply a strategy accordingly. In a third, complex, setup, mice are rewarded for non-repetitive choice sequences (when they choose the target leading to higher sequence complexity). Analysis of mice locomotor and choice behavior during the task has been coupled with several techniques to assess DA dynamics, including tetrodes recordings in the VTA (DA neurons activity) and fiber photometry with DA sensor in the NAc (DA release). In a first study, we identify three archetypal strategies in the probabilistic setting, each mouse choice behavior being described as a combination of those, and tending to be closer to one of them (therefore defined as a profile). Chronic exposure to nicotine i) increases resting VTA DA neurons activity and ii) affects differentially those profiles, overall pushing them toward exploitation. Using optogenetics to increase or decrease DA activity online, we recapitulate the effect of nicotine and modulate the exploitation / exploration balance online in each mouse. In a second study in the complex setup, using both behavioral and computational analyses, we show evidence of mice progressively increasing their choice variability and reinforcing a pseudo-random selection strategy, without relying on the memory of previous choices. In a third study, we recorded DA release in the NAc and show that phasic DA encodes obtained values but also prediction and error, in a manner suggesting different neural representation of task contingencies depending on the reward delivery rule. In the deterministic setting, DA signals rewards as peaks, and those peaks are reduced compared to unexpected ICSS. In the complexity setting, DA displays trial-by-trial signaling of rewards (peaks) and omissions (dips), whose amplitude also depends on recent reward history, suggesting an online computation of expected value, updated at each trial, but with no effect on choice. In the probabilistic setting, where contingencies can be learned and stabilized, peaks and dips amplitude is modulated by each target’s probability only after training, supporting the idea that mice built different expected values for each location. Furthermore, mice displaying more divergence in this DA correlate of each target’s expected value are also more exploitative (visiting 100% and 50% targets more often).