Inversion acoustique-articulatoire avec contraintes

Acoustic-to-articulatory inversion with constraints

• Auteur / Autrice : Blaise Potard
• Direction : Yves Laprie
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/10/2008
• Etablissement(s) : Nancy 1
• Ecole(s) doctorale(s) : IAEM Lorraine
• Partenaire(s) de recherche : Laboratoire : LORIA
• Jury : Examinateurs / Examinatrices : Régine André-Obrecht, Pierre Badin, Noëlle Carbonell, Shinji Maeda, Xavier Rodet, Yves Laprie
• Jury : Rapporteurs / Rapporteuses : Régine André-Obrecht, Pierre Badin

Mots clés

Mots clés contrôlés

Reconnaissance automatique de la parole

Traitement automatique de la parole

Phonétique acoustique

Mots clés libres

Stéréovision

Résumé

Cette thèse porte sur l'inversion acoustique-articulatoire, c'est-à-dire la récupération des mouvements des articulateurs de la parole à partir du signal sonore. Nous présentons dans ce mémoire une évolution importante des méthodes de tabulation à codebooks utilisant une table de correspondants acoustique-articulatoire précalculée à l'aide d'un modèle de synthèse acoustique. En dehors de la méthode d'inversion proprement dite, nous proposons également l'introduction de deux types de contraintes liées au contexte d'élocution : des contraintes phonétiques génériques, issues de l'analyse par des experts humains de l'invariance articulatoire des voyelles, et des contraintes visuelles, en l'occurrence des contraintes obtenues automatiquement à partir de l'enregistrement et l'analyse d'images en stéréovision du locuteur.

This thesis investigates acoustic-to-articulatory inversion, i.e. recovering articulatory movements from the speech signal. In this work, we present an important evolution of codebooks methods, i.e. methods using acoustic-articulatory tuples precomputed using an acoustic synthesis model. Apart from the inversion method, we present the introduction of two types of constraints : generic phonetic constraints, derived from the analysis by human experts of articulatory invariance for vowels, and visual constraints, i.e. constraints derived automatically from a video signal, in our case a stereo video signal, thus allowing us to perform multimodal inversion.