Traduction automatique pour les langues peu dotées avec de grands modèles de langue
| Auteur / Autrice : | Armel Zebaze dongmo |
| Direction : | Benoît Sagot |
| Type : | Projet de thèse |
| Discipline(s) : | Sciences et technologies de l'information et de la communication |
| Date : | Inscription en doctorat le Soutenance le 15/10/2026 |
| Etablissement(s) : | Sorbonne université |
| Ecole(s) doctorale(s) : | École doctorale Informatique, télécommunications et électronique de Paris |
| Partenaire(s) de recherche : | Laboratoire : Centre INRIA de Paris |
| Jury : | Président / Présidente : Laurent Besacier |
| Examinateurs / Examinatrices : Benoît Sagot, Rachel Bawden, Alexandra Birch, Loïc Barrault, Antonios Anastasopoulos | |
| Rapporteurs / Rapporteuses : Alexandra Birch, Loïc Barrault |
Mots clés
Mots clés libres
Résumé
En traitement automatique des langues (TAL), la traduction consiste à produire, à partir d'un texte rédigé dans une langue source, un autre texte sémantiquement équivalent dans une langue cible. Il s'agit d'une tâche traditionnellement accomplie par des êtres humains afin de permettre la communication entre communautés, de faciliter l'accès au savoir, et de soutenir la diplomatie et le commerce. La conception de systèmes permettant d'automatiser ce processus est un axe de recherche qui remonte à la fin des années 1940. La traduction automatique (TA), comme on l'appelle, revient à confier cette tâche à des systèmes automatiques pouvant être construits notamment en exploitant des exemples de paires texte-traduction produits par des humains. De nos jours, les systèmes de traduction automatique font partie de notre quotidien: ils sont utilisés pour la conversation, la rédaction, et sur de nombreuses plateformes en ligne telles que les forums de discussion et les sites de vente. Récemment, avec l'avènement de l'architecture Transformer et de l'entraînement auto-supervisé à grande échelle, le domaine du TAL a connu un changement de paradigme. Les modèles de langue fondés sur les Transformers ne cessent de croître en capacité, excellant en mathématiques, en programmation, en rédaction, et dans de nombreuses autres tâches. La TA ne fait pas exception: ces modèles affichent des performances de traduction impressionnantes sans même avoir été explicitement entraînés à traduire. Toutefois, le tableau d'ensemble est plus nuancé. Pour les langues dites ''peu dotées'', qui sont moins présentes sur Internet et dans les corpus de pré-entraînement des modèles que leurs homologues mieux dotées (le français, l'allemand etc.), la qualité de la TA reste médiocre et les progrès reposent en grande partie sur l'augmentation de la taille des modèles. Sans surprise, la rareté des ressources, du moins à l'échelle du pré-entraînement, est le principal facteur de ce déséquilibre de performance. Les jeux de données parallèles rédigés par des humains ne couvrent qu'un nombre limité de directions de traduction, avec des ordres de grandeur très variables. Les données d'évaluation et les métriques sont également biaisés en faveur des langues bien dotées, ce qui rend difficile une évaluation fiable des progrès pour les autres. Dans cette thèse, nous explorons des approches visant à améliorer la traduction automatique pour les langues peu dotées à l'aide de modèles de langue, en abordant le problème sous plusieurs angles. Nous étudions d'abord la sélection d'exemples par recherche de similarité, et montrons qu'elle est substantiellement plus bénéfique pour les langues cibles peu dotées que pour celles bien dotées, tout en mettant en lumière les limites des métriques d'évaluation neuronales dans ce cadre. Nous explorons ensuite la compositionnalité comme principe directeur: nous proposons Tree-of-Problems pour décomposer des tâches de raisonnement en sous-tâches indépendantes, et appliquons une idée similaire à la TA via Compositional Translation, qui décompose les phrases sources en propositions, les traduit individuellement, et utilise les résultats comme démonstrations. En nous appuyant sur ces stratégies à l'inférence, nous étudions des améliorations au moment de l'entraînement en générant directement des données parallèles synthétiques diversifiées dans des langues à faibles ressources, plutôt qu'en traduisant depuis l'anglais. Nous examinons également si le raisonnement des modèles à réflexion peuvent améliorer la traduction, concluant que ce n'est pas le cas, mais que la distillation des tentatives de traduction issues des traces du modèle enseignant vers des modèles étudiants s'avère utile. Enfin, nous étudions la manière dont les modèles de langue s'organisent en interne pour traduire en régime peu annoté, sous l'angle de l'interprétabilité mécanistique, en identifiant des têtes d'attention spécialisées dans des aspects distincts du processus.