Modèles de langage de grande taille fiables avec des instructions en langage naturel

Trustworthy Large Language Models with Natural Language Instructions

• Auteur / Autrice : Nour Bouchouchi
• Direction : Marie-Jeanne Lesot, Christophe Marsala
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le 01/11/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : LIP6

Mots clés

Mots clés libres

Llm

Apprentissage Automatique Fiable

Apprentissage Automatique Responsable

Llm

Trustworthy Machine Learning

Responsible Machine Learning

Résumé

Ce sujet vise à approfondir l'alignement d'IA digne de confiance, en explorant de nouvelles méthodologies pour combler le gap entre les capacités des LLM et les considérations éthiques, ainsi que les connaissances d'experts, essentielles pour leur déploiement responsable. En particulier, cette recherche vise à déterminer comment les modèles peuvent être alignés grâce à un nouveau type d'entrée, sous la forme de contraintes liées à la tâche et formulées en langage naturel par un expert du domaine, élargissant ainsi l'éventail des possibilités d'alignement. Au-delà des applications en alignement de l'IA, voici quelques exemples de cas d'utilisation où cette méthodologie serait particulièrement utile : - Combler le gap entre les notions algorithmiques et éthiques d'équité en faisant en sorte qu'un LLM se conforme à la définition de l'équité définie par un expert en éthique ou un juriste. - Enrichir les méthodes de classification des textes en contraignant les relations entrée-sortie qui ne sont pas nécessairement rendues par les données. Par exemple, forcer les connexions causales existantes entre certains concepts. - Demander à un LLM de répondre à des questions en utilisant des règles de réponse spécifiques. Par exemple, dans un contexte juridique, le cadre IRAC est enseigné à la faculté de droit pour guider les réponses aux questions juridiques. Ceci pourrait être utilisé pour enrichir un LLM avec des connaissances juridiques. Formulées en langage naturel par un expert du domaine, les instructions permettraient ainsi de transmettre des informations contextuelles beaucoup plus fortes et riches que celles qui auraient été facilement disponibles en s'appuyant uniquement sur l'étiquetage de nouveaux points de données, comme le proposent les travaux existants. En s'appuyant sur ces instructions, l'objectif de ce travail est de développer une méthodologie pour guider le processus d'apprentissage et de décision du modèle. En fin de compte, le but de cette thèse est de contribuer au développement de technologies d'IA robustes et éthiquement alignées, en élargissant l'éventail des possibilités d'alignement.

This topic aims to further delve into trustworthy AI alignment, exploring novel methodologies to bridge the gap between the capabilities of LLMs and ethical considerations, along with expert knowledge, essential for their responsible deployment. In particular, this research seeks to see how models can be aligned through a novel type of input, in the form of task-related constraints formulated in natural language by a domain expert, thus expanding the range of alignment possibilities. Beyond traditional applications of AI alignment, some examples of use cases where this methodology would be particularly helpful are: - Bridge the gap between algorithmic and ethical notions of fairness by having an LLM comply to the fairness definition defined by an ethicist or lawyer. - Enrich text classification methods by constraining input-output relationships that may not be necessarily reflected in the data. For instance, force causal connections between some concepts. - Have a LLM answer questions using specific rules to answer. For instance, in a legal context, the IRAC framework 1 is taught in Law School to guide answers to legal questions.This could be used to enrich a LLM with legal knowledge. Formulated in natural language by a domain expert, instructions would thus allow to convey much stronger and richer contextual information than what would have been easily available by relying solely on labelling of new data points, as proposed by existing works. Leveraging these instructions, the objective of the Ph.D. is then to develop a methodology to guide the model's learning and decision process. Ultimately, the goal of this thesis is to contribute to the development of robust and ethically aligned AI technologies, broadening the range of alignment possibilities.