Méta-apprentissage en situation d'incertitude : étude comportementale et computationnelle de l’adaptabilité chez l’homme

Metalearning under uncertainty

• Auteur / Autrice : Sami Beaumont
• Direction : Philippe Domenech, Mehdi Khamassi
• Type : Thèse de doctorat
• Discipline(s) : Sciences cognitives
• Date : Soutenance le 15/12/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Valentin Wyart
• Jury : Examinateurs / Examinatrices : Jacqueline Scholl
• Jury : Rapporteur / Rapporteuse : Emmanuel Procyk, Christopher Summerfield

Mots clés

Mots clés contrôlés

Métaconnaissance

Adaptation (psychologie)

Prise de décision

Mots clés libres

Apprentissage

Modélisation

Incertitude

Méta-apprentissage

Volatilité

Learning

Computational Modeling

Uncertainty

Metalearning

Volatility

Résumé

L’apprentissage correspond à l’adaptation du comportement en fonction d’objectifs intrinsèques et de contraintes externes. Dans un environnement déterminé par des règles inobservables et changeantes, il est nécessaire d’adapter ces mécanismes mêmes, on parle alors de méta-apprentissage. La littérature sur le méta-apprentissage chez l’humain est classiquement divisée en deux approches. D’une part, plusieurs résultats comportementaux et neurophysiologiques montrent que les humains sont capables de moduler l’apprentissage d’associations stimulus-action en fonction de variables latentes de l’environnement. Ces mécanismes d’optimisation continue reposent souvent sur l’activité du cortex préfrontal, en particulier dans sa partie médiale. D’autre part, les mêmes structures ont été associées à la sélection de stratégies globales, impliquant des représentations discrètes et abstraites. L’objectif de cette thèse est de contribuer à une vision unifiée du méta-apprentissage par la clarification de trois dimensions. Premièrement, le méta-apprentissage peut être formalisé du bas vers le haut, c’est-à-dire à partir de l’apprentissage de liens entre stimuli et actions élémentaires ; ou du haut vers le bas, c’est-à-dire à partir de représentations cognitives abstraites. Deuxièmement, le méta-apprentissage peut opérer à un niveau local, c’est-à-dire ajuster finement chaque composant d’une stratégie, ou à un niveau global par la coordination de plusieurs stratégies en parallèle. Troisièmement, les adaptations peuvent être continues (optimisation) ou discrètes (sélection). Bien que chaque dimension présente des extrêmes, ceux-ci ne sont pas mutuellement exclusifs (par exemple des phénomènes locaux et globaux peuvent coexister), mais la question de leur intégration dans un processus commun reste irrésolue. A travers 2 études, nous avons pu étudier les capacités de méta-apprentissage de volontaires sains dans 5 environnements différents. Bien que les participants n’étaient pas informés des variations de la tâche expérimentale, ils ont présenté une variabilité comportementale importante en réaction aux régularités statistiques des différents environnements. En particulier, nous mettons en évidence des signatures caractéristiques d’adaptation globale, impliquant la manipulation de stratégies plutôt que l’ajustement continu de paramètres d’apprentissage local. De plus, nos données appuient un modèle de méta-apprentissage du haut vers le bas, où les agents s’adaptent par inférence stratégique dans un répertoire de stratégies spécifiquement adaptées à la tâche, plutôt que par la construction de liens associatifs élémentaires. Par des simulations nous montrons que ce modèle peut présenter à la fois des transitions discrètes et des adaptations continues de variables internes. Pris ensemble, nos résultats suggèrent que le méta-apprentissage est avant tout un processus d’inférence globale, dépendant de capacités de haut niveau d’abstraction telles que la mémoire épisodique ou la génération d’hypothèses sur les règles cachées de l’environnement.

Learning relates to behavioral adaptation according to intrinsic objectives and external constraints. In an environment determined by unobservable and changing rules, it is necessary to adapt learning itself, which corresponds to meta-learning. The literature on meta-learning in humans is classically divided into two approaches. On the one hand, several behavioral and neurophysiological results show that humans are able to modulate the learning of stimulus-action associations as a function of latent variables in the environment. These continuous optimization mechanisms often rely on the activity of the prefrontal cortex, particularly in its medial part. On the other hand, the same structures have been associated with the selection of global strategies, involving discrete and abstract representations. The aim of this thesis is to contribute to a unified view of meta-learning by clarifying three dimensions. First, meta-learning can be formalized from the bottom up, i.e., from learning links between elementary stimuli and actions; or from the top down, i.e., from abstract cognitive representations. Second, meta-learning can operate at a local level, i.e. fine-tuning each component of a strategy, or at a global level through the coordination of several strategies in parallel. Third, adaptations can be continuous (optimization) or discrete (selection). Although each dimension presents extremes, these are not mutually exclusive (e.g. local and global phenomena can coexist), but the question of their integration in a common process remains unresolved. Through two studies, we investigated the meta-learning abilities of healthy volunteers in five different environments. Although the participants were not informed of the variations of the experimental task, they showed significant behavioral variability in response to the statistical regularities of the different environments. In particular, we highlight characteristic signatures of global adaptation, involving the manipulation of strategies rather than the continuous adjustment of local learning parameters. Moreover, our data support a model of top-down meta-learning, where agents adapt through strategic inference into a repertoire of task-specific strategies, rather than through the construction of elementary associative links. Through simulations we show that this model can exhibit both discrete transitions and continuous adaptations of internal variables. Taken together, our results suggest that meta-learning is primarily a process of global inference, depending on high-level abstraction capabilities such as episodic memory or the generation of hypotheses about hidden rules in the environment.