Un systeme d'aide automatique a la lecture labiale pour les personnes sourdes profondes : lipcom elaboration et evaluation

An automatic aid to assist speechreading for profoundly deaf persons : lipcom elaboration and valuation

• Auteur / Autrice : AUDREY COURSANT MOREAU
• Direction : Jean-Pierre Zerling
• Type : Thèse de doctorat
• Discipline(s) : Linguistique
• Date : Soutenance en 1997
• Etablissement(s) : Université Marc Bloch (Strasbourg) (1971-2008)

Mots clés

Mots clés contrôlés

Perception de la parole

Sourds -- Communication

Mots clés libres

Perception du langage

Résumé

Le projet lipcom, developpe au centre scientifique d'ibm-france, est une aide automatique a la perception de la parole pour les personnes sourdes profondes. Actuellement a l'etat de prototype, lipcom est un systeme de reconnaissance phonetique de la parole continue en temps reel, fonctionnant en mode monolocuteur avec un vocabulaire illimite et une syntaxe non contrainte. Le but du systeme est de lever les ambiguites de la lecture labiale. En pratique, lorsqu'une personne sourde observe les levres de son interlocuteur, elle percoit, en outre, par la vision peripherique, le sous-titrage phonetique effectue par lipcom. Nous avons experimente le prototype, sur une periode de 3 ans, aupres d'une dizaine d'enfants sourds profonds pre-linguaux ages de 8 a 12 ans. Afin d'evaluer l'apport et l'interet du systeme, nous avons realise differentes experiences d'identification, portant successivement sur des logatomes non signifiants, des syllabes, des mots, puis des phrases, dans les deux conditions suivantes : lecture labiale plus protheses auditives, et lecture labiale plus protheses auditives plus lipcom. Les resultats montrent que l'utilisation de lipcom ameliore les performances des sujets. Les pourcentages d'identification varient en fonction des tests et des protocoles employes ; en moyenne, ceux-ci sont de 48% en lecture labiale plus protheses, contre 64% en lecture labiale assistee par lipcom. Dans le meme temps, l'experimentation a contribue a l'amelioration du taux de reconnaissance par le systeme d'un double point de vue : quantitatif, qualitatif. En effet, lipcom, qui effectuait initialement une reconnaissance tres partielle, reconnait, au terme de l'experimentation, entre 90% et 95% des phonemes. En conclusion, cette etude montre l'interet de lipcom pour faciliter la comprehension de la parole par les personnes sourdes et la faisabilite technique du systeme.

The lipcom project, developed in the ibm-france scientific center, is an automatic tool to help speech perception for profoundly deaf people. As a prototype, for the time being, lipcom is a real-time, speaker dependent phonetic recognition system, operating on continuous speech with unlimited vocabulary and unconstrained syntax. The aim of the system is to discriminate lip-reading ambiguities : when a deaf user observes speaker's lips, he/she may read in a peripheral vision, a phonetic ''sub-titling'' made by lipcom. We experimented this prototype over a three years period, with about 10 pre-lingual profoundly deaf children from 8 to 12 years old. In order to evaluate the efficiency and the usefulness of the system, we made different experiments, successively, on nonsense items, on syllabes, words and finally on sentences under two conditions : lip-reading plus hearing aids, and lip-reading plus hearing aids plus lipcom. The results show that using lipcom increases the identification scores of the subjects performances. The relative improvement brought by lipcom depends on the tests and protocols ; as a mean, the identifications scores obtained in the lip-reading plus hearing aids condition are about 48% to 64% with lipcom. In the same time, the experiment contributed to improve the lipcom system recognition level both from quantitative and qualitative point of view. Effectively, lipcom which had an initial weak recognition rate, raised, at the end of the experiment to a phoneme recognition rate between 90% and 95%. To conclude, this study shows that lipcom does help speech understanding by deaf persons and that the system is technically feasible.