Perception et évaluation des biais dans les applications des LLM au domaine biomédical

Perception and evaluation of biases in biomedical LLM applications

• Auteur / Autrice : Clémentine Bleuze
• Direction : Karen Fort
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES
• Partenaire(s) de recherche : Laboratoire : LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
• Partenaire(s) de recherche : Equipe de recherche : SEMMAGRAMME

Mots clés

Mots clés libres

Traitement automatique des langues

Biomédical

Biais

Éthique

Natural language processing

Biomedical

Biases

Ethics

Résumé

L'objectif de la thèse est double. D'une part, il s'agira d'observer les utilisations réelles des grands modèles de langues dans le domaine biomédical et leur perception par leurs utilisateurices. Un deuxième objectif sera de proposer des outils et ressources pour évaluer les biais dans ces applications. Ce second axe dépendra du premier, qui devrait nous permettre de mieux cibler nos évaluations et l'information aux utilisateurices. La thèse s'inscrit dans le cadre du projet ANR InExtenso, qui porte sur l'évaluation intrinsèque et extrinsèque des biais dans les modèles de langues, en particulier dans les applications biomédicales. Parmi les partenaires du projet se trouve le CHU de Rouen, de ce fait, la langue traitée principalement sera le français. Les modèles évalués, ainsi que les types de biais considérés seront multiples. Nous chercherons en particulier à évaluer les biais les moins pris en compte, notamment les biais socio-économiques. L'un des résultats attendu est la production d'outils et de ressources pour l'évaluation des biais dans les modèles de langue du français.

There is a twofold objective for this thesis. First, it will seek to observe the real usage of Large Language Models in the biomedical domain, as well as their perception by users. Second, it will aim at proposing tools and resources to evaluate possible biases of these applications. The second objective will depend on the first one, which should allow to better take into account users in the evaluation processes. The thesis belongs to the ANR InExtenso project for the intrinsic and extrinsic evaluation of biases in Large Language Models, with a focus on biomedical applications. A partner of the projet is the university hospital (CHU) of Rouen, hence, the work will mainly focus on French data. Multiple models and biases will be considered. In particular, we will try to evaluate less-studied biases such as socioeconomic ones. One of the expected results is the production of tools and resources for the evaluation of biases in French language models.