Mise à jour atomique des connaissances factuelles dans les modèles de langue

Atomic factual knowledge update in language models

• Auteur / Autrice : Hichem Ammar khodja
• Direction : Frédéric Bechet, Alexis Nasr
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 02/11/2022
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : Ecole Doctorale Mathématiques et Informatique de Marseille
• Partenaire(s) de recherche : Laboratoire : LIS Laboratoire d'Informatique et Systèmes
• Partenaire(s) de recherche : Equipe de recherche : Traitement Automatique du Langage Ecrit et Parlé

Mots clés

Mots clés libres

Apprentissage profond

Traitement du langage naturel

Représentation de connaissances

Deep Learning

Natural language processing

Knowledge representation

Résumé

Les grands modèles de langue (Large Language Models ou LLMs) dominent actuellement le champ du traitement automatique des langues. En analysant d'immenses corpus textuels, ils accumulent une vaste étendue de connaissances, englobant des aspects linguistiques, procéduraux et factuels. Or, alors que ces connaissances restent figées dans le modèle, elles évoluent constamment dans le monde réel : le langage évolue, les tâches se transforment, et de nouveaux faits et événements émergent. De ce fait, maintenir la fiabilité des LLMs dans la durée est un enjeu majeur.   Dans ce contexte, ma thèse se focalise sur la mise à jour des connaissances factuelles dans des modèles de langue. Plus précisément, je m'intéresse à l'actualisation de connaissances à un niveau atomique, où chaque connaissance est représentée par un fait unique. Ces faits sont formulés comme des triplets RDF extraits de grands graphes de connaissances tels que Wikidata. 

Large language models (LLMs) currently dominate the field of natural language processing. By analyzing huge textual corpora, they accumulate a vast breadth of knowledge, encompassing linguistic, procedural and factual aspects. However, while this knowledge remains fixed in the model, it constantly evolves in the real world: language evolves, tasks transform, and new facts and events emerge. Therefore, maintaining the reliability of LLMs over time is a major challenge. In this context, my thesis focuses on updating factual knowledge in language models. More precisely, I am interested in updating knowledge at an atomic level, where each piece of knowledge is represented by a single fact. These facts are formulated as RDF triples extracted from large knowledge graphs such as Wikidata.