Adaptation de domaines et de langages dans les PLM, application à la recherche d'information conversationelle

Domain and Language-adaptation in PLMs, application to Dialogue-Based Information Retrieval

• Auteur / Autrice : Victor Morand
• Direction : Benjamin Piwowarski, Josiane Mothe
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le 01/11/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des Systèmes Intelligents et de Robotique

Mots clés

Mots clés libres

Traitement du language naturel

Intelligence Artificielle

Recherche d'information

Nlp

Artificial Intelligence

Information Retrieval

Résumé

Ce projet s'inscrit dans le contexte des grands modèles de langage (LLM) et des systèmes conversationnels (par exemple ChatGPT, WebGPT), qui ont connu des progrès pratiques considérables au cours des derniers mois. Le projet GUIDANCE vise à mener des recherches sur l'accès à l'information numérique assisté par un dialogue général, en particulier sur la manière de permettre aux utilisateurs d'accéder à l'information numérique, dans le but de surmonter plusieurs limites des LLM actuels : Les LLM n'ont pas été conçus pour la recherche d'information - que ce soit au niveau du pré-entraînement ou des tâches de fine-tuning. Les LLM ont des capacités de généralisation limitées à de nouveaux domaines et/ou langues ; La véracité et la sincérité des résultats sont discutables. Les modèles LLM potentiellement les plus avancés ne sont pas en libre accès et la méthodologie scientifique ainsi que l'évaluation appropriée sont à peine décrites dans la littérature scientifique. Du point de vue de la création d'une communauté, le projet GUIDANCE vise à fédérer le projet de la Communauté française de recherche d'information (RI), en rassemblant des experts du domaine pour faire avancer le développement de modèles d'accès à l'information basés sur le dialogue (DbIA) exploitant les LLMs.

This project takes place in the context of large language models (LLMs) and conversational systems (e.g. ChatGPT, WebGPT), which have experienced tremendous practical progress in the last few months. The project GUIDANCE aims to conduct research on General Purpose Dialogue-assisted Digital Information Access, specifically how to enable users to access digital information, with the goal of overcoming several limitations of current LLMs: LLMs were not designed with Information Access – whether at the level of pre-training tasks or fine-tuning ones LLMs have limited generalization abilities to new domains and/or languages; The veracity and truthfulness of the output are questionable. Potentially state-of-the-art LLMs models are not open access and the scientific methodology and proper evaluation are barely described in the scientific literature. From a community building perspective, GUIDANCE project aims at federating the Information Retrieval (IR) French Community project, by bringing together experts of the field to advance the development of Dialogue-based Information Access (DbIA) models leveraging LLMs.