Traitement de la parole adapté au domaine médical

Speech processing for the medical domain

• Auteur / Autrice : Yanis Labrak
• Direction : Mickael Rouvier
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 02/09/2022
• Etablissement(s) : Avignon
• Ecole(s) doctorale(s) : École doctorale Sciences et agrosciences (Avignon)
• Partenaire(s) de recherche : Laboratoire : LIA - Laboratoire d'Informatique d'Avignon
• Partenaire(s) de recherche : Equipe de recherche : SLG - Speech and Language Group

Mots clés

Mots clés libres

Traitement Automatique du Language

Informatique médicale

Reconnaissance Automatique de la Parole

Intelligence artificielle

Natural Language Processing

Medical informatics

Automatic Speech Recognition

Artificial intelligence

Résumé

Cette thèse vise à proposer des approches innovantes en traitement de la parole pour le domaine de la santé. L'objectif principal est de concevoir un modèle multimodal et multilingue capable de traiter simultanément la parole et le texte, en exploitant les connaissances textuelles pour améliorer les tâches de reconnaissance automatique de la parole, de question-réponse et d'extraction d'informations à partir de la parole. La thèse se concentre initialement sur l'amélioration et l'évaluation des systèmes en cascade composés d'un système de transcription automatique de la parole et d'un modèle de langue (e.g. : BERT, T5 ou Mistral) dans le cadre de tâches spécifiques comme la structuration des informations, l'anonymisation et les questions-réponses parlées. Ensuite, nous proposons d'explorer l'intégration de la modalité de la parole dans les modèles de langue autorégressifs, afin de proposer une alternative aux systèmes de bout-en-bout (E2E) existants et de tirer parti de la grande disponibilité des données textuelles médicales. Nous souhaitons également réfléchir à des solutions autour des avancées en termes de méthodes d'apprentissage en contexte de données limitées, telles que Low Rank Adaptation (LoRa), les méthodes de conditionnement des modèles pendant l'inférence (few-shot in-context learning) et l'optimisation des ressources matérielles (quantification variable de la précision des nombres flottants). Nous souhaitons ainsi rendre les systèmes E2E moins coûteux à adapter à de nouvelles langues et domaines de spécialité comme la santé, tout en offrant des performances plus intéressantes, des temps d'inférence plus rapides, et en réduisant l'impact matériel.

This thesis aims to propose innovative approaches in speech processing for the health field. The main objective is to design a multimodal and multilingual model capable of processing speech and text simultaneously, exploiting textual knowledge to improve the tasks of automatic speech recognition, question-answering and information extraction from speech modality. The thesis initially focuses on the improvement and evaluation of cascade systems composed of an automatic speech transcription system and a language model (e.g.: BERT, T5 or Mistral) in the context of specific tasks such as information extraction, anonymization and spoken questions answering. Then, we propose to explore the integration of speech modality in autoregressive language models, in order to propose an alternative to existing end-to-end (E2E) systems and to take advantage of the wide availability of textual medical data. We also want to explore recent advances in terms of low-cost learning methods in the context of limited data, such as Low Rank Adaptation (LoRa), methods for conditioning models during inference (few-shot in-context learning) and optimization of hardware resources (variable quantization). We thus want to make E2E systems less expensive to adapt to new languages ​​and specialty areas such as health, while offering more interesting performance, faster inference times, and reducing hardware impact.