Quelles opinions émergent des modèles de langue ? Une étude des grands modèles de langue multilingues et francophones.

What Opinions Emerge from Large Language Models? A Study of Multilingual and French Language Models

• Auteur / Autrice : Léo Labat
• Direction : François Yvon
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le 02/09/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des Systèmes Intelligents et de Robotique
• Partenaire(s) de recherche : Equipe de recherche : Interactions Multi-Echelles

Mots clés

Mots clés libres

Grands modèles de langue

Opinions

Francophone

Multilingue

Large language models

Opinions

French

Multilingual

Résumé

Le projet de thèse se concentre sur l'analyse des opinions politiques dans les grands modèles de langue multilingues, avec un intérêt marqué pour les modèles francophones. L'objectif est d'examiner comment ces modèles, utilisés dans des agents conversationnels tels que ChatGPT, peuvent produire ou reproduire certaines opinions et sembler manifester des ''biais idéologiques''. Étant donné le développement rapide de ces technologies et leur déploiement dans diverses applications, comprendre leur fonctionnement est essentiel, bien que difficile en raison de leur nature de « boîte noire », qui empêche une interprétation claire de leurs paramètres et de leur comportement. Dans un premier temps, il s'agit de prolonger les études empiriques existantes sur les modèles de langue et leur relation avec l'opinion publique, par l'élaboration de protocoles expérimentaux visant à identifier et caractériser automatiquement les tendances idéologiques des modèles, tant sur le plan politique que linguistique. Les données des sondages français (INSEE, Ined, Ifop) serviront de références et de prompts pour les modèles, permettant une comparaison entre les opinions humaines et celles générées par les modèles de langue francophones, tels que CamemBERT ou GPT 3.5. Il s'agit également de mobiliser les outils d'analyse automatique d'opinions du Traitement Automatique des Langues (TAL), habituellement appliqués aux discours humains, pour analyser les textes générés par les modèles de langue. S'appuyant sur l'entraînement de tels algorithmes sur des corpus de textes français existants ou spécialement constitués, dans un contexte socio-politique français distinct des cadres américains souvent dominants dans ce domaine d'étude, l'objectif est de projeter les opinions exprimées dans les textes générés par les modèles dans un espace des opinions pour mieux les caractériser. Enfin, le projet explorera la possibilité de « contrôler » la génération d'opinions par ces modèles en modifiant leurs algorithmes de génération ou en les réentraînant sur des corpus idéologiquement biaisés. Cela inclut la manipulation des embeddings ou l'introduction de biais politiques dans la fonction objectif, afin de déterminer dans quelle mesure la génération d'opinions est contrôlable et, potentiellement, neutralisable.

The PhD proposal focuses on the analysis of political opinions in large multilingual language models, with a particular interest in French-speaking models. The aim is to examine how these models, used in conversational agents such as ChatGPT, can produce or reproduce certain opinions and appear to manifest “ideological biases”. Given the rapid development of these technologies and their deployment in various applications, understanding how they work is essential, although difficult due to their “black box” nature, which prevents a clear interpretation of their parameters and behavior. As a first step, the aim is to extend existing empirical studies on language models and their relationship with public opinion, by developing experimental protocols aimed at automatically identifying and characterizing the ideological tendencies of models, both politically and linguistically. Data from French surveys (INSEE, Ined, Ifop) will serve as references and prompts for the models, enabling a comparison between human opinions and those generated by French-speaking language models, such as CamemBERT or GPT 3.5. The aim is also to mobilize the automatic opinion analysis tools of Natural Language Processing, usually applied to human discourse, to analyze texts generated by language models. Based on the training of such algorithms on existing or specially constituted corpora of French texts, in a French socio-political context distinct from the American frameworks often dominant in this field of study, the aim is to project the opinions expressed in the texts generated by the models into an opinion space in order to better characterize them. Finally, the project will explore the possibility of “controlling” the generation of opinions by these models by modifying their generation algorithms or re-training them on ideologically biased corpora. This includes manipulating embeddings or introducing political biases into the objective function, in order to determine the extent to which opinion generation is controllable and, potentially, neutralizable.