Reconnaissance automatique des gestes de la langue française parlée complétée

par Thomas Burger

Thèse de doctorat en Signal, image, parole, télecommunications

Sous la direction de Alice Caplier et de Pascal Perrier.

Soutenue en 2007

à Grenoble INPG .


  • Résumé

    Le LPC est un complément à la lecture labiale qui facilite la communication des malentendants. Sur le principe, il s'agit d'effectuer des gestes avec une main placée à côté du visage pour désambigüiser le mouvement des lèvres, qui pris isolément est insuffisant à la compréhension parfaite du message. Le projet RNTS TELMA a pour objectif de mettre en place un terminal téléphonique permettant la communication des malentendants en s'appuyant sur le LPC. Parmi les nombreuses fonctionnalités que cela implique, il est nécessaire de pouvoir reconnaître le geste manuel du LPC et de lui associer un sens. L'objet de ce travail est la segmentation vidéo, l'analyse et la reconnaissance des gestes de codeur LPC en situation de communication. Cela fait appel à des techniques de segmentation d’images, de classification, d'interprétation de geste, et de fusion de données. Afin de résoudre ce problème de reconnaissance de gestes, nous avons proposé plusieurs algorithmes originaux, parmi lesquels (1) un algorithme basé sur la persistance rétinienne permettant la catégorisation des images de geste cible et des images de geste de transition, (2) une amélioration des méthodes de multi-classification par SVM ou par classifieurs unaires via la théorie de l'évidence, assortie d'une méthode de conversion des probabilités subjectives en fonction de croyance, et (3) une méthode de décision partielle basée sur la généralisation de la Transformée Pignistique, afin d'autoriser les incertitudes dans l'interprétation de gestes ambigus.

  • Titre traduit

    Automatic recognition of French Cued Speech gestures


  • Résumé

    Cued Speech facilitates hearing-impaired people communication by completing lip-reading. Basically, its purpose is to add manual gestures nearby the face in order to disambiguate the lip motion which is not self-sufficient for a complete understanding of the message. The goal of Telephony for Hearing IMpaired Project is to elaborate a terminal which allows communication based on French Cued Speech. Amongst the manifoldness of functionalities it requires, it is mandatory to automatically recognize French Cued Speech manual gestures. The subject of this work is the segmentation, the analysis and the recognition of Cued Speech gestures. It requires image and video processing techniques as well as data fusion, classification and gesture recognition techniques. In order to achieve this goal, we have developed several original algorithms, such as (1) a bio-inspired filter which quantifies the amount of motion in a video by integrating retinal processing, (2) a new combination technique for multi-classification via SVMs or unary classifiers based on belief theories, from which a transform from belief function to probability is derived, (3) a partial decision method based on the generalisation of the Pignistic Transform, in order to authorize some uncertainty when processing ambiguous gestures.

Autre version

Cette thèse a donné lieu à une publication en 2008 par [CCSD] [diffusion/distribution] à Villeurbanne

Reconnaissance automatique des gestes de la langue française parlée complétée

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (310 p.)
  • Notes : Publication autorisée par le jury
  • Annexes : Bibliogr. 176 réf.

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Service interétablissements de Documentation (Saint-Martin d'Hères, Isère). Bibliothèque universitaire Joseph-Fourier.
  • Disponible pour le PEB
  • Cote : TS07/INPG/0111/D
  • Bibliothèque : Service interétablissements de Documentation (Saint-Martin d'Hères, Isère). Bibliothèque universitaire Joseph-Fourier.
  • Disponible sous forme de reproduction pour le PEB
  • Cote : TS07/INPG/0111
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.