Modèles neurocomputationels du langage et du cerveau

Neurocomputational Models of Language and the Brain

• Auteur / Autrice : Corentin Bel
• Direction : Valentin Wyart, Christophe Pallier
• Type : Projet de thèse
• Discipline(s) : Neurosciences
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Neurosciences Cognitives et Computationnelles
• Partenaire(s) de recherche : Equipe de recherche : Inference and Decision-Making
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Neurosciences

Décodage

Ia

Deep Learning

Linguistique

Sémantique

Neurosciences

Decoding

Ai

Deep Learning

Linguistics

Semantics

Résumé

En moins d'une décennie, l'intelligence artificielle (IA) a déjà profondément transformé le paysage académique et industriel. Après le succès des grands réseaux convolutifs et leur remarquable capacité à reconnaître des objets à partir d'images naturelles, les systèmes d'IA font aujourd'hui des progrès majeurs dans le traitement du langage naturel. Le langage est l'épine dorsale de l'intelligence humaine. Il est le médiateur de la connaissance et du raisonnement. Pourtant, son fonctionnement reste un défi pour les neurosciences et l'IA. Ce problème pourrait désormais être résolu. Les 'grands modèles de langage' tels que Chat-GPT (Open AI), Barde (Google) et Llama (Meta) atteignent les performances de niveau humain pour toute une série de tâches : ces algorithmes peuvent effectuer des traductions avec une grande fidélité ou résumer un document. Le fonctionnement même de ces modèles semble être similaire à celui du cerveau humain. Par exemple, les équipes de Pallier à Neurosin et de Jean-Remi King à Meta ont récemment montré, grâce à l'imagerie par résonance magnétique fonctionnelle (IRMf), que les grands modèles de langage génèrent des activations en réponse à des mots qui sont en corrélation linéaire avec celles du cerveau humain en réponse aux mêmes mots. En d'autres termes, les neurones biologiques et artificiels semblent représenter le langage de manière similaire. Cependant, ces représentations du langage sont difficiles à interpréter. Dans cette thèse, nous combinerons (1) la neuroimagerie humaine à grande échelle collectée dans les universités avec (2) des systèmes d'intelligence artificielle (IA) de pointe développés par Meta pour comprendre la structure et les calculs qui sous-tendent le traitement du langage naturel (NLP). Pour ce faire, nous allons systématiquement collecter des ensembles de données à source ouverte et modéliser les réponses correspondantes du cerveau humain à la parole naturelle dans un cadre d'inférence formel. Selon ce cadre mathématique, chaque mot peut être modélisé comme un élément de preuve qui spécifie progressivement le sens d'une phrase. Valentin Wyart (DEC, ENS Ulm), qui co-dirigera la thèse, a utilisé avec succès ce modèle d'accumulation de preuves pour décomposer et localiser les calculs de la prise de décision humaine.

In less than a decade, Artificial intelligence (AI) has already profoundly transformed the academic and industrial landscape. After the success of large convolutional networks, and their remarkable ability to recognize objects from natural images, AI systems are now making major progress in natural language processing. Language is the backbone of human intelligence. It mediates knowledge and reasoning. Yet, its computational bases remain a challenge to both Neuroscience and AI. This issue may now be resolved. 'Large Language Models' like Chat-GPT (Open AI), Barde (Google) and Llama (Meta) effectively reach human-level performance on a variety of tasks: these algorithms can perform translation with high-fidelity, summarize a document into bullet points, and automatically process spreadsheets to suggest the most appropriate plots and conclusions. Perhaps more importantly, the very functioning of these models appears to be similar to the human brain. For example, the teams of Pallier at Neurosin & of Jean-Remi King at Meta have recently shown with functional Magnetic Resonance Imaging (fMRI), that Large Language Models generate activations in response to words that linearly correlate with those of the human brain in response to the same words. Put simply, biological and artificial neurons appear to represent language similarly. However, these language representations are difficult to interpret. Consequently, the fundamental mechanisms necessary to make AI systems more similar to the human brain – and thus more adaptable and less prone to errors – remain to be discovered. In this thesis, we will combine (1) large-scale human neuroimaging collected in academia with (2) state-of-the-art artificial intelligence (AI) systems developed by Meta to understand the structure and computations underlying natural language processing (NLP). For this, we will systematically curate open-source datasets and model the corresponding human brain responses to natural speech within a formal inference framework. According to this mathematical framework, each word can be modeled as a piece of evidence that incrementally specifies the meaning of a sentence. The theiss will be co-supervised by Dr. Wyart who has successfully used this accumulation of evidence model to decompose and localize the computations of human decision making.