Une théorie de l'apprentissage associative-homéostatique, et ses implications pour la dépendance à la cocaïne

A homeostatic reinforcement learning theory, and its implications in cocaine addiction

• Auteur / Autrice : Mohammadmahdi Keramati
• Direction : Boris Gutkin
• Type : Thèse de doctorat
• Discipline(s) : Neurosciences computationnelles
• Date : Soutenance le 17/10/2013
• Etablissement(s) : Paris 5
• Ecole(s) doctorale(s) : École doctorale Frontières de l'innovation en recherche et éducation (Paris ; 2006-....)
• Jury : Président / Présidente : Mathias Pessiglione
• Jury : Examinateurs / Examinatrices : Boris Gutkin, Mathias Pessiglione, Serge Ahmed, Peter Dayan, Giorgio Coricelli
• Jury : Rapporteurs / Rapporteuses : Serge Ahmed, Peter Dayan

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Homéostasie

Cocaïnomanie

Intelligence computationnelle

Neurosciences cognitives

Mots clés libres

Apprentissage par renforcement

Régulation homéostatique

Réponse prédictive

Choix intertemporel

Dopamine

Hypothalamus

Dépendance à la cocaïne

Intoxication

Fonction dose-réponse

Rechute à l'addiction

Reinforcement learning

Homeostatic regulation

Anticipatory responding

Temporal discounting

Dopamine

Hypothalamus

Cocaine addiction

Escalation

Dose-response curve

Relapse

Résumé

Cette thèse est composée de deux parties. Dans la première partie, nous proposons une théorie pour l'interaction entre l'apprentissage par renforcement et les processus de régulation homéostatique. En fait, la régulation efficace de l'homéostasie interne et la défendre contre les perturbations a besoin des stratégies comportementales complexes pour obtenir des ressources physiologiquement épuisés. À cet égard, il est essentiel que les processus cérébraux de régulation homéostatique et les processus d'apprentissage associatifs travaillent de concert. Nous proposons une théorie computationnelle normative pour régulation homéostatique par l'apprentissage associatif, où la stabilité physiologique et l'acquisition de récompense s'avèrent les mêmes objectifs, réalisables simultanément. En théorie, le cadre résout la question de longue date de la façon dont le comportement manifeste est modulée par l'état interne, et comment les animaux apprennent à agir de manière prédictive pour empêcher des défis homéostasie potentiels (répondre par anticipation). Il fournit en outre une explication normative pour choix intertemporel, aversion au risque, la concurrence entre les systèmes de motivation, et le manque de motivation pour l'injection intraveineuse de produits alimentaires. Neurobiologiquement, la théorie suggère une explication pour le rôle de l'interaction par orexine entre les circuits hypothalamiques et les noyaux dopaminergiques du mésencéphale, comme une interface entre les états internes et les comportements motivés. Dans la deuxième partie de la thèse, nous utilisons le modèle présenté dans la première partie, comme base du développement d'une théorie de la dépendance à la cocaïne. Nous soutenons que la dépendance à la cocaïne provient du système de régulation homéostatique être détourné par les effets pharmacologiques de la cocaïne sur le cerveau. Nous démontrons que le modèle réussit à expliquer une variété des aspects comportementaux et neurobiologiques de la dépendance à la cocaïne , à savoir la grandissant de l’administration de cocaine sous les conditions de long accès a cocaïne, fonction dose-réponse pour la cocaïne , rechute à l'addiction à la cocaïne provoquée par amorçage, et l'interaction entre la disponibilité du récepteur de la dopamine D2 et dépendance à la cocaïne.

This thesis is composed of two parts. In the first part, we propose a theory for interaction between reinforcement learning and homeostatic regulation processes. In fact, efficient regulation of internal homeostasis and defending it against perturbations requires complex behavioral strategies to obtain physiologically-depleted resources. In this respect, it is essential that brains homeostatic regulation and associative learning processes work in concert. We propose a normative computational theory for homeostatically-regulated reinforcement learning (HRL), where physiological stability and reward acquisition prove to be identical objectives achievable simultaneously. Theoretically, the framework resolves the long-standing question of how overt behavior is modulated by internal state, and how animals learn to predictively act to preclude prospective homeostatic challenges (anticipatory responding). It further provides a normative explanation for temporal discounting of reward, and accounts for risk-aversive behavior, competition between motivational systems, taste-induced overeating, and lack of motivation for intravenous injection of food. Neurobiologically, the theory suggests a computational explanation for the role of orexin-based interaction between the hypothalamic circuitry and the midbrain dopaminergic nuclei, as an interface between internal states and motivated behaviors. In the second part of the thesis, we use the HRL model presented in the first part, as the cornerstone for developing an Allostatic Reinforcement Learning (ARL) theory of cocaine addiction. We argue that cocaine addiction arises from the HRL system being hijacked by the pharmacological effects of cocaine on the brain. We demonstrate that the model can successfully capture a wide range of behavioral and neurobiological aspects of cocaine addiction, namely escalation of cocaine self-administration under long- but not short-access conditions, U-shaped dose-response function for cocaine, priming-induced reinstatement of cocaine seeking, and interaction between dopamine D2 receptor availability and cocaine seeking.