Pré-entraînement multilingue universel auto-supervisé de modèles de langage parlé

Universal multilingual self-supervised pre-training of spoken language models

• Auteur / Autrice : Maxime Poli
• Direction : Emmanuel Dupoux, Emmanuel Chemla
• Type : Projet de thèse
• Discipline(s) : Sciences cognitives
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de sciences cognitives et psycholinguistique (1985-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Apprentissage machine

Psycholinguistique

Multilingue

Traitement de la parole

Machine Learning

Psycholinguistics

Multilingual

Speech processing

Résumé

Les progrès récents dans le domaine de l'apprentissage profond ont mené au développement de grands modèles dits ''fondationnels'': des réseaux de neurones profonds entraînés de façon auto-supervisée sur de grandes quantités de données. Certains modèles fondationnels entraînés sur du texte --- les LLMs (Large Language Models)--- sont d'excellents générateurs de texte: par exemple les non-experts ont des difficultés à distinguer un court texte en anglais écrit par GPT-3 d'un texte écrit par un humain. Les LLMs apprennent grâce à un objectif auto-supervisé simple: prédire les unités linguistiques futures --- caractères ou mots --- sur la base d'unités passées. Cette méthode présente des similarités avec la façon dont les nourrissons démarrent leur acquisition du langage avant même de parler: en construisant un modèle probabiliste du langage qu'ils entendent dans leur environnement immédiat. Mais pourtant, il y a deux différences majeures entre les nourrissons et les LLMs: la quantité et la nature des données d'entrée. Les jeunes enfants entendent entre 1M et 10M de mots par an, tandis que des modèles de langue récents ont besoin de 1000 à 10000 fois plus de données; et la différence augmente avec la taille des modèles. Par ailleurs, les enfants apprennent uniquement à partir des sons qu'ils entendent, les LLMs à partir du texte. Le signal audio est continu contrairement au texte, tout en étant à la fois plus riche, bruité et variable; et les spoken-LLMs récemment développés apprenant à partir du signal audio ont besoin d'encore plus de données que les LLMs à base de texte. Ainsi, malgré leurs résultats spectaculaires, les modèles de langage actuels font encore pâle figure face aux enfants en bas âge en ce qui concerne l'efficacité et la robustesse de leurs acquisitions. Bien entendu, les nourrissons ne partent pas de zéro : ils disposent à la naissance d'un système auditif et de biais inductifs hérités de millions d'années d'évolution pour apprendre efficacement à partir de données réelles, peu importe la langue. Ce projet de recherche vise à reproduire cette évolution biologique en construisant un modèle de l'appareil linguistique humain à l'état initial qui peut apprendre avec aussi peu de données que l'enfant. Une telle démarche a un double intérêt: sur le plan pratique, obtenir des modèles fondationnels pouvant apprendre sur des langues rares avec très peu de données, voire des données bruitées; sur le plan théorique, développer des modèles plausibles permettant la simulation numérique des trajectoires d'acquisition du langage chez l'humain en fonction des données d'entrées.

Recent advances in the field of deep learning have led to the development of large models known as ''foundation models'': deep neural networks trained in a self-supervised manner on vast amounts of data. Some foundation models trained on text — Large Language Models (LLMs) — are excellent text generators. For instance, non-experts struggle to distinguish a short text in English written by GPT-3 from a text written by a human. LLMs learn through a simple self-supervised objective: predicting future linguistic units — characters or words — based on past units. This method bears similarities to how infants begin their language acquisition even before speaking: by constructing a probabilistic model of the language they hear in their immediate environment. However, there are two major differences between infants and LLMs: the quantity and nature of input data. Young children hear between 1 million and 10 million words per year, whereas recent language models require 1000 to 10000 times more data, and this difference increases with the model's size. Moreover, children learn solely from the sounds they hear, while LLMs learn from text. The audio signal is continuous, unlike text, while being both richer and noisier, and it exhibits greater variability. Recently developed spoken-LLMs, which learn from audio signals, require even more data than text-based LLMs. Despite their impressive results, current language models still pale in comparison to young children in terms of efficiency and robustness in their learning. Of course, infants do not start from scratch: they are born with an auditory system and inductive biases inherited from millions of years of evolution, enabling them to efficiently learn from real data, regardless of the language. This research project aims to replicate this biological evolution by constructing a model of the human linguistic apparatus in its initial state, which can learn with as little data as a child. This approach serves a dual purpose: on a practical level, obtaining foundation models that can learn on rare languages with very little data, or even noisy data; on a theoretical level, developing plausible models that allow for numerical simulation of language acquisition trajectories in humans based on input data.