Linking Linguistics and Brain Dynamics with Language Models

''Liaison entre la Linguistique et la Dynamique Cérébrale avec les Modèles de Langage''

• Auteur / Autrice : Pablo Diego simon
• Direction : Emmanuel Chemla
• Type : Projet de thèse
• Discipline(s) : Sciences cognitives
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de sciences cognitives et psycholinguistique (1985-....)
• Partenaire(s) de recherche : Equipe de recherche : Le langage et son acquisition
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Language Models

Representation learning

Cognition

Machine Learing

Brain Dynamics

Neural Activation

Modèles de Langage

Apprentissage de représentation

Cognition

Apprentissage Automatique

Dynamique Cérébrale

Activation Neuronale

Résumé

Dans cette thèse, nous combinerons les avancées en IA et en neurosciences pour comprendre comment les structures linguistiques sont représentées dans l'activité neuronale. Pour cela, nous étudierons le codage des structures de phrases dans les modèles de langage neuronaux de pointe, dériverons leurs prédictions et les testerons sur un ensemble unique de données intracrâniennes que nous collectons actuellement. Cet ensemble de données est sans équivalent en termes de résolutions qu'il fournira, allant de grandes populations neuronales au niveau du neurone individuel. Pour isoler les structures de phrases, nous nous concentrerons sur les accords grammaticaux à longue portée. Ces accords sont considérés comme l'une des meilleures fenêtres sur le traitement des structures hiérarchiques dans le langage naturel. Par exemple, dans la phrase ‘Les clés du placard sont sur la table.', le sujet principal 'clés' et le verbe 'sont' concordent en nombre grammatical (pluriel) malgré leur séparation et la présence d'un nom intercalaire 'placard', qui porte le nombre grammatical opposé (singulier). Les accords à longue portée montrent donc que les phrases ont une structure hiérarchique latente. Objectif 1 - Identifier les mécanismes neuronaux sous-jacents aux accords à longue portée dans les grands modèles de langage : Dans des travaux antérieurs, nous avons identifié le mécanisme neuronal sous-jacent à l'accord à longue portée dans les modèles de langage. Cependant, ce travail se concentrait uniquement sur une seule architecture neuronale, un réseau neuronal récurrent (RNN), qui est actuellement surpassé sur de nombreux fronts par les modèles plus récents tels que le Transformer (Vaswani et al., 2017). Notre premier objectif est donc d'identifier les mécanismes utilisés par les Transformers pour traiter les accords à longue portée. Notre étude la plus récente prédit que les Transformers développent un mécanisme neural similaire à celui des RNNs (Lakretz et al., 2022). Cependant, elle s'est concentrée sur la performance des modèles sans sonder les mécanismes neuronaux. Objectif 2 - Tester les prédictions des modèles chez l'homme : Nous étudierons le traitement des structures de phrases dans le cerveau humain en testant les prédictions des mécanismes neuronaux identifiés dans les modèles. Pour cela, nous recueillerons un ensemble de données intracrâniennes unique et volumineux provenant d'humains lisant des phrases isolées. Nous comparerons ensuite ces données neuronales humaines aux activations des neurones artificiels dans les grands modèles de langage. Objectif 3 - Quantifier l'alignement entre les cerveaux et les modèles pendant le traitement des phrases : En plus des mécanismes localisés dédiés aux accords à longue portée, nous étudierons le traitement à grande échelle de la structure des phrases dans le réseau de langage humain. Pour cela, nous analyserons les ensembles de données publiques disponibles en IRMf et MEG, en utilisant les méthodes d'apprentissage automatique que nous avons développées dans des travaux précédents.

In this thesis, we will combine breakthroughs in AI and neuroscience to understand how linguistic structures are represented in neuronal activity. For this, we will study the encoding of sentence structures in state-of-the-art neural language models, derive their predictions, and test them on a unique set of intracranial datasets that we are currently collecting. This dataset is unparalleled with respect to the various resolutions it will provide, from large neural populations down to the single-neuron level. To isolate sentence structures, we will focus on long-range grammatical agreement. Long-range agreements are considered one of the best windows into the processing of hierarchical structures in natural language. For example, in the sentence ‘The keys to the cabinet are on the table.', the main subject 'keys' and the verb ‘are' agree on their grammatical number (plural) despite their separation and the presence of an intervening noun ‘cabinet', which carries the opposite grammatical number (singular). Long-range agreements therefore show that sentences have a latent hierarchical structure. Objective 1 - Identify the neural mechanisms underlying long-range agreements in large language models: In previous work we identified the neural mechanism underlying long-range agreement in language models. However, this work focused on only a single neural architecture, a recurrent neural network (RNN), which is currently outperformed on many fronts by the newer models such as the Transformer (Vaswani et al., 2017). Our first objective is therefore to identify the mechanisms Transformers use to process long-range agreements. Our most recent study predicts that Transformers develop a similar neural mechanism to that in RNNs (Lakretz et al., 2022). However, it focused on the performance of the models without probing neural mechanisms. Objective 2 - Test predictions from the models in humans: We will study sentence-structure processing in the human brain by testing predictions from the neural mechanisms identified in the models. For this, we will collect a large and unique dataset of intracranial data from humans reading isolated sentences. We will then compare these human neural data to the activations of artificial neurons in large language models. Objective 3 - Quantify alignment between brains and models during sentence processing: In addition to localized mechanisms dedicated to long-range agreements, we will study larger scale processing of sentence structure in the human language network. For this, we will analyze publicly available datasets of fMRI and MEG, using machine-learning methods that we developed in previous work.