Enrichissement linguistique et cognitif de modèles de langue contextualisés pour le domaine médical

Linguistic and cognitive enhancement of contextualized language models for the medical domain

• Auteur / Autrice : Corentin Blanc
• Direction : Pascal Roy, Elie Francis
• Type : Thèse de doctorat
• Discipline(s) : Biostatistiques – Intelligence artificielle
• Date : Soutenance le 01/06/2023
• Etablissement(s) : Lyon 1
• Ecole(s) doctorale(s) : École doctorale Evolution Ecosystèmes Microbiologie Modélisation (Lyon ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Biométrie et Biologie Evolutive
• Jury : Président / Présidente : Emmanuel Chazard
• Jury : Examinateurs / Examinatrices : Anita Burgun, Aurélie Névéol, Delphine Maucort-Boulch, Stefan Michiels
• Jury : Rapporteurs / Rapporteuses : Anita Burgun, Aurélie Névéol

Mots clés

Mots clés contrôlés

Exploration de données

Intelligence artificielle en médecine

Traitement automatique du langage naturel

Bioinformatique

Mots clés libres

BioCamemBERT

BioFlauBERT

CamemBERT

FlauBERT

Incorporation de connaissances

Modèle de langue

Pré-Entraînement continu

Traitement automatique du langage naturel

BioCamemBERT

BioFlauBERT

CamemBERT

Continual pre-Training

FlauBERT

Knowledge incorporation

Language model

Natural language processing

Résumé

Grâce aux nouveaux progrès technologiques, des quantités vertigineuses de données textuelles sont créées chaque jour. Ces dernières pourraient offrir des opportunités immenses aux professionnels de santé, mais leur exploitation complexe et fastidieuse reste très peu répandue. Pour résoudre ce problème, les professionnels de santé se tournent donc peu à peu vers des solutions basées sur des modèles de langue contextualisés, la référence en matière d'outils de traitement automatique du langage naturel. Cependant, leur comportement dans le domaine médical demeure méconnu et insuffisamment étudié en langue française. L'objectif de cette thèse est d'étudier le comportement de deux modèles français -FlauBERT et CamemBERT- puis de les enrichir linguistiquement et cognitivement afin de mieux répondre aux exigences spécifiques du domaine médical. Ces recherches ont abouti au développement de deux nouveaux modèles -BioFlauBERT et BioCamemBERT- qui ont une meilleure compréhension du langage naturel dans le domaine médical ainsi qu'à une application industrielle prometteuse pour prédire des motifs de consultation.

The exponential growth of textual data presents a golden opportunity for healthcare professionals, yet its potential remains vastly untapped due to its complex and tedious nature. In response, healthcare professionals are increasingly turning to cutting-edge language models as the gold standard for natural language processing. However, their behavior in the medical domain remains poorly understood and insufficiently studied in French. This thesis aims to delve into the behavior of two French language models -FlauBERT and CamemBERT- and enhance them linguistically and cognitively to cater to the unique needs of the medical field. The outcome of these studies led to the creation of two new innovative models -BioFlauBERT and BioCamemBERT- with a more profound comprehension of natural language in medicine, as well as a promising industrial application in predicting consultation reasons.