Biomarqueurs vocaux collectés par des agents conversationnels pour l'aide au diagnostic et le suivi des troubles du sommeil et des troubles mentaux

Vocal biomarkers collected through conversational agents for diagnosis assistance and follow-up of sleep and mental disorders

• Auteur / Autrice : Colleen Beaumard
• Direction : Jean-luc Rouas, Pierre Philip
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 29/09/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : LaBRI - Laboratoire Bordelais de Recherche en Informatique
• Partenaire(s) de recherche : Equipe de recherche : Images et Son

Mots clés

Mots clés libres

Parole

Conversation

Troubles du sommeil

Speech

Conversation

Sleep disorders

Résumé

La collaboration entre les équipes du SANPSY et du Labri a permis d'identifier de nouveaux biomarqueurs vocaux pour mesurer la somnolence diurne excessive de manière subjective et objective chez les patients souffrant de troubles du sommeil. SANPSY a démontré la validité des solutions numériques autonomes (c'est-à-dire des agents virtuels intégrés sur des smartphones) pour diagnostiquer les troubles du sommeil et du comportement dans la population générale. Nous envisageons désormais de développer de nouveaux agents virtuels collectant des biomarqueurs à partir de la parole dans nos cohortes de sujets sains et de patients pour le diagnostic, le traitement et le suivi (projets ADDICTAQUI, KANOPEE et AUTONOMHEALTH (PEPR)). Le projet de thèse ''Biomarqueurs vocaux collectés par des agents conversationnels pour l'aide au diagnostic et le suivi des troubles du sommeil et des troubles mentaux'' repose sur 4 étapes : 1) le développement de nouveaux agents virtuels pour la collecte de marqueurs vocaux 2) le développement des techniques nécessaires au passage d'enregistrements contrôlés de haute qualité réalisés à l'hôpital vers des enregistrements non supervisés sur le terrain à l'aide de smartphones. 3) la vérification de la pertinence des marqueurs vocaux existants lorsqu'ils sont utilisés avec les nouvelles données et la proposition de nouvelles caractéristiques qui pourraient être utilisées comme biomarqueurs de haut niveau tels que les indices lexicaux, syntaxiques et sémantiques. 4) l'étude de la sensibilité et la spécificité des biomarqueurs sélectionnés pour le diagnostic et le suivi des symptômes et des troubles par rapport à d'autres mesures médicales. Cette dernière partie du projet de thèse sera traitée conjointement par le LaBRI et SANPSY et comprendra la validation clinique des approches proposées.

The SANPSY and the Labri teams have demonstrated their ability to identify new vocal biomarkers to measure excessive daytime sleepiness both subjectively and objectively in patients suffering from sleep disorders [1]–[5]. SANPSY demonstrated the validity of autonomous numeric solutions (I.e. smartphone based virtual agents) to diagnose sleep/mental disorders in the general population [6]– [10]. We plan now to develop new virtual agents collecting biomarkers (i.e. from speech) in our healthy subjects and patients cohorts for diagnostic, treatment and follow-up (ADDICTAQUI, KANOPEE and AUTONOMHEALTH(PEPR) projects). The PhD thesis project “Vocal biomarkers collected through conversational agents for diagnosis assistance and follow-up of sleep and mental disorders“ relies on 4 stages: 1) developing new virtual agents to collect vocal markers: The objective is to design new scenarios targeting behavioral interventions to improve fatigue, mood and excessive daytime sleepiness. Moreover, the scenarios will be designed so that the agent interacts with the subject in order to engage a discussion (spontaneous speech). This will lead to more ecological conditions that should increase the acceptability. 2) switching from high-quality controlled recordings made at the hospital to in-the-field unsupervised recordings using smartphones. Our current vocal biomarkers are defined using a reading task and using high-quality microphones. The new interaction scenarios from task 1) will lead us to record spontaneous speech with smartphone microphones. This task will tackle the differences in recording conditions and their impact on our feature extraction pipeline. 3) verifying the relevance of the existing vocal markers when used with the new data and propose new features that could be used as high-level biomarkers such as lexical, syntactic and semantic cues. Our features will have to be adapted to consider the versatile nature of spontaneous discourse which is a completely different speaking style from read speech. Spontaneous speech will however provide additional cues that could be used as high-level biomarkers such as lexical, syntactic and semantic markers. 4) studying the sensitivity and specificity of the selected biomarkers on diagnostic and follow up of symptoms and disorders with respect to other medical measures. This final part of the PhD project will be addressed jointly by LaBRI and SANPSY and includes the clinical validation of the proposed approaches.