Synthèse à partir du texte de visages parlants : réalisation d'un prototype et mesures d'intelligibilité bimodale

Synthesis based on a text for talking faces : implementation of a prototype and bimodal intelligibility measures

• Auteur / Autrice : Tayeb Mohamadi
• Direction : Pierre Escudier
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, parole
• Date : Soutenance en 1993
• Etablissement(s) : Grenoble INPG
• Partenaire(s) de recherche : Laboratoire : Institut de la communication parlée (Grenoble ; 1983-2007)

Mots clés

Mots clés libres

Sciences appliquees

Informatique

Automatique theorique

Systemes

Synthese parole

Reconnaissance forme

Audiovisuel

Intelligibilite

Levre

Modelisation

Speech synthesis

Pattern recognition

Audiovisual

Intelligibility

Lip

Modeling

Résumé

Le but de cette etude est l'analyse geometrique des differentes formes de levres en francais, leur intelligibilite audiovisuelle et la realisation d'un prototype de synthetiseur de visage parlant francais. Dans ce manuscrit, nous retracons d'abord le role des levres dans la production de la parole, et l'apport de leur vision a l'intelligibilite de la parole degradee (une analyse phonetique des confusions des voyelles et des consonnes choisies, a ete faite en parallele), nous presentons les resultats d'une etude de leur geometrie et de leur mouvement qui a permis d'identifier une vingtaine de formes labiales de base appelees visemes. Ensuite, nous presentons un prototype de synthetiseur audiovisuel a partir du texte realise a partir de ce jeu de visemes et son evaluation en intelligibilite. Enfin, nous evaluons l'apport de l'intelligibilite en parole naturelle degradee de deux modeles de levres synthetiques realises a l'icp, avec une comparaison au cas naturel