Supervision profonde de la forme du conduit vocal pour la synthèse articulatoire de la parole

Deep Supervision of the Vocal Tract Shape for Articulatory Synthesis of Speech

• Auteur / Autrice : Vinícius Ribeiro
• Direction : Yves Laprie
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/12/2023
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Anne Boyer
• Jury : Examinateurs / Examinatrices : Yves Laprie, Damien Lolive, Antoine Serrurier, Eduardo Alves do Valle Junior, Alice Turk, Pierre-André Vuissoz
• Jury : Rapporteurs / Rapporteuses : Damien Lolive, Antoine Serrurier

Mots clés

Mots clés contrôlés

Synthèse de la voix

Apprentissage profond

Simulation, Méthodes de

Articulations

Élocution

Synthèse automatique de la parole

Mots clés libres

Conduit vocal

Synthèse articulatoire

Traitement de la parole

Apprentissage en profondeur

Vocal tract

Articulatory synthesis

Speech processing

Deep learning

Résumé

La parole est un processus dynamique et non stationnaire qui nécessite l'interaction de plusieurs articulateurs du conduit vocal. Le contexte dans lequel est articulé un phonème influence très fortement sa production, ce phénomène est connu sous le nom de coarticulation. La synthèse articulatoire de la parole et son homologue, l'inversion acoustique-articulatoire, ont de nombreuses applications potentielles, telles que l'apprentissage des langues étrangères et la conception d'approches de remédiation de la production de la parole. De plus, ces modèles sont utiles pour la recherche en synthèse et en reconnaissance automatique de la parole parce qu'ils font le lien avec le processus de production de la parole. La modélisation des articulations de la parole présente des défis tels que la coarticulation, la non-unicité, et la normalisation du locuteur. Historiquement la recherche s'est concentrée sur les modèles géométriques, mathématiques et statistiques pour décrire la dynamique de la parole. Néanmoins, le développement de tels modèles est confronté à la difficulté d'obtenir des données articulatoires pertinentes auprès de locuteurs réels. Le conduit vocal n'étant pas observable de l'extérieur, diverses méthodes invasives et non invasives ont été utilisées pour collecter ces données, notamment le suivi de capteurs collés sur les articulateurs et l'imagerie médicale. Les premières techniques d'extraction de données articulatoires ont utilisé des rayons X, mais cette technique a été abandonnée en raison de l'exposition aux rayonnements ionisants. Ensuite, l'articulographie électromagnétique a rapidement gagné en popularité en raison de sa fréquence d'échantillonnage élevée et de son faible coût par rapport aux autres techniques. Plus récemment, l'imagerie par résonance magnétique en temps réel (RT-MRI) est devenue la méthode d'acquisition privilégiée en raison de la visibilité de tout le conduit vocal depuis la glotte jusqu'aux lèvres. Cette thèse explore la synthèse des gestes articulatoires de la parole correspondant à une séquence de phonèmes. L'objectif principal est de concevoir un modèle qui prédit l'évolution temporelle de la forme du conduit vocal pour chaque phonème de la séquence d'entrée. Néanmoins, le développement d'un modèle temporel réaliste du conduit vocal est un défi, et par conséquent, nous avons décomposé le problème en trois contributions. La première consiste à obtenir le profil du conduit vocal à partir des films d'IRM temps réel en développant une méthode robuste de segmentation des articulations du conduit. La deuxième contribution consiste à construire un modèle articulatoire qui prédit la forme du conduit vocal pour toute entrée phonétique en français. Les défis sont d'apprendre la coarticulation et d'imposer les lieux d'articulation et les gestes articulatoires qui conduisent à l'acoustique attendue. La troisième contribution est l'évaluation des formes prédites par le modèle. Nous proposons de quantifier l'information phonétique à l'aide de la reconnaissance automatique de phonèmes. Nous mesurons l'information phonétique capturée par les contours médiosagittaux et celle reproduite par le synthétiseur de la forme du conduit vocal en utilisant le taux d'erreur phonétique et les représentations internes du reconnaisseur. Cette thèse ouvre des pistes importantes pour la synthèse articulatoire de la parole. Nous avons observé que la modélisation directe, c'est-à-dire sans modèle articulatoire, conduit aux meilleurs résultats et aux plus naturels. Néanmoins, l'utilisation d'un modèle articulatoire intermédiaire permet d'introduire des connaissances phonétiques pertinentes dans le modèle. Enfin, ce travail ouvre une nouvelle piste de recherche pour évaluer les modèles articulatoires à travers leur représentation phonétique.

Speech is a dynamic and non-stationary process that requires the interaction of several vocal tract articulators. The context in which a phoneme is articulated strongly influences its production, a phenomenon known as coarticulation. Articulatory speech synthesis and its counterpart, acoustic-to-articulatory inversion, hold many potential applications, such as L2 learning and speech therapy design. Moreover, these models are helpful for speech synthesis and automatic speech recognition since they create a link to the speech production process. Modeling speech articulations presents challenges such as coarticulation, non-uniqueness, and speaker normalization. Historically, the research focused on geometrical, mathematical, and statistical models to describe speech dynamics. Nevertheless, developing such models faces the difficulty of obtaining relevant articulatory data from actual speakers. Since the vocal tract is not observable from the outside, various invasive and non-invasive methods have been used to collect these data, including flesh point tracking and medical imaging. The first attempts to extract articulatory data used X-rays, but it was abandoned due to the exposition to ionizing radiation. Then, electromagnetic articulography rapidly grew in popularity due to the high sampling rate and the low cost compared to the alternatives. More recently, real-time magnetic resonance imaging (RT-MRI) has been the preferred acquisition method due to the visibility of the the vocal tract from the glottis to the lips. This thesis explores the synthesis of speech articulation gestures corresponding to a sequence of phonemes. The primary objective is to design a model that predicts the temporal evolution of the vocal tract shape for each phoneme in the input sequence. Nevertheless, developing a realistic temporal model of the vocal tract is challenging. Therefore, we split the problem into three contributions. The first is obtaining the vocal tract profile from the RT-MRI films by developing a robust method for segmenting vocal tract articulations. The second contribution is to build an articulatory model that predicts the vocal tract shape for any phonetic input in French. The challenges are learning coarticulation and enforcing the places of articulation and articulatory gestures that lead to the expected acoustics. The third contribution is the evaluation of the predicted shapes. We propose to quantify phonetic information with the aid of phoneme recognition. We measure the phonetic information retained by the mid-sagittal contours and that reproduced by the vocal tract shape synthesizer using the phoneme error rate and the recognizer's internal representations. This thesis points to significant directions in speech articulation synthesis. We observe that directly modeling, without an articulatory model, leads to the best and most natural results. Nevertheless, using an intermediate articulatory model permits the introduction of relevant phonetic knowledge into the model. Finally, we open a new direction to evaluate articulatory models through their phonetic representations.