Inversion acoustique articulatoire de la parole à l'aide d'images IRM dynamiques

Acoustic to Articulatory Inversion by using dynamic MRI images

• Auteur / Autrice : Sofiane Azzouz
• Direction : Yves Laprie, Pierre-André Vuissoz
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 20/10/2023
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES
• Partenaire(s) de recherche : Laboratoire : LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
• Partenaire(s) de recherche : Equipe de recherche : MULTISPEECH

Mots clés

Mots clés libres

Forme du conduit vocal

Modélisation articulatoire

Apprentissage profond

Synthèse articulatoire

Traitement automatique de la parole

Vocal tract shape

Articulatory modeling

Deep learning

Articulatory synthesis

Automatic speech processing

Résumé

L'objectif de cette thèse est l'inversion acoustique articulatoire, afin de retrouver la forme géométrique du conduit vocal à partir du signal acoustique. Un simple enregistrement de la voix permettra de suivre la dynamique des différents articulateurs lors de la production de la phrase enregistrée. La majorité des travaux actuels en inversion utilisent des données issues de l'articulographie électro-magnétique (EMA) qui donne la position de quelques capteurs sur la langue et les articulateurs facilement accessibles. Cependant, ces données ne peuvent couvrir que la partie du conduit vocal la plus proche de la bouche. Les approches actuelles ne permettent pas de retrouver la géométrie complète du conduit vocal alors que l'on sait par exemple que le larynx joue un rôle déterminant sur l'acoustique du conduit vocal, limitant ainsi leur utilité pour la reconstruction du signal de la parole. L'objectif est de lever ce verrou et l'originalité est de retrouver la géométrie complète du conduit vocal en utilisant les données de l'IRM dynamique acquises à Nancy au laboratoire IADI (INSERM U1254). Cette approche d'une part ouvrira une passerelle réellement opérationnelle entre les gestes articulatoires et l'acoustique dans les deux directions, et d'autre part permettra l'identification du rôle de chaque articulateur afin de pouvoir prendre en compte une éventuelle perturbation concernant un articulateur précis. Le programme de travail comprend deux objectifs majeurs. Tout d'abord, l'inversion du signal acoustique pour retrouver l'évolution temporelle de la coupe médiosagittale. Pour cela nous utiliserons vraisemblablement l'approche LSTM (Long Short-Term Memory) sur les données d'un petit nombre de locuteurs pour lesquels il existe des données en quantité suffisante. Cette approche devra être adaptée à la nature des données et afin de pouvoir identifier la contribution de chacun des articulateurs. Ensuite, l'objectif portera sur l'adaptation au locuteur, visant à construire des plongements anatomiques pour pouvoir étudier chaque articulateur indépendamment, exigeant ainsi une connaissance précise de sa position et de son environnement anatomique immédiat. Cette approche d'adaptation au locuteur répond à deux défis majeurs : elle tient compte de la rareté et du coût élevé des données d'IRM dynamique d'une part. Elle surmonte également les limitations liées à l'utilisation de l'IRM dans certains cas. La piste que nous comptons suivre consistera à s'inspirer de plongements anatomiques récemment proposés pour le traitement des images radiologiques.

The objective of this PhD is to succeed the acoustic to articulatory inversion, in order to recover the geometric shape of the vocal tract from the acoustic signal. A simple voice recording will allow the dynamics of the different articulators to be followed during the production of the sentence. Almost all current inversion works are based on the use of data from EMA (ElectroMagnetic Articulography) which gives the position of a few sensors glued on the tongue and other easily accessible articulators. However, these data can only cover the part of the vocal tract closest to the mouth. Current approaches do not allow the complete geometry of the vocal tract to be retrieved, while it is known, for example, that the larynx plays a determining role on the acoustics of the vocal tract, thus limiting their usefulness for speech signal reconstruction. The objective is to remove this limitation and the originality is to recover the complete geometry of the vocal tract using dynamic MRI data acquired in Nancy at the IADI laboratory (INSERM U1254). This approach, on the one hand, will open a really operational bridge between articulatory gestures and acoustics in both directions, it aims also to identify the role of each articulator in order to take into account a possible perturbation concerning a specific articulator. The program of this work includes two main objectives. First, the inversion of the acoustic signal to recover the temporal evolution of the medio-sagittal slice. For this we will be using, the inversion using the LSTM (Long Short-Term Memory) approach on data from a small number of speakers for which sufficient data exists. This approach will have to be adapted to the nature of the data and to be able to identify the contribution of each articulator. Then, the objective will focus on speaker adaptation, aiming to construct anatomical embedding to be able to study each articulator independently, which requires a fairly precise knowledge of its position and its immediate anatomical environment. This adaptation to the speaker answers to a double constraint: It takes account of the rarity and the cost of dynamic MRI on the one hand, and the impossibility of using MRI in particular cases. The path we intend to follow will be inspired by anatomical plunging recently proposed for the processing of radiological images.