Suivi de parties de corps pour l'interprétation de gestes de communication à partir de séquence monoculaire

Body parts tracking for communication gestures interpretation from monocular sequences

• Auteur / Autrice : Frédérick Gianni
• Direction : Patrice Dalle
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2007
• Etablissement(s) : Toulouse 3

Mots clés

Mots clés contrôlés

Intelligence artificielle

Automates

Comportement humain

Animation par ordinateur

Mots clés libres

Animation comportementale

Intelligence

Mémoire

Néocortex

Adaptation

Réseaux de neurones

Résumé

Cette thèse se situe dans le cadre de l'analyse de la production de gestes de communication effectués lors d'une interaction Homme-Machine ou bien lors d'un discours d'une personne s'exprimant en langue des signes. Dans le but d'interpréter ces gestes de communication, nous avons proposé des méthodes de suivi de parties du corps humain, à partir d'une séquence vidéo monoculaire couleur. Nous avons tout d'abord défini les fonctions et les modes de production des gestes. Nous décrivons les systèmes de notation de mouvements et les parties du corps utilisées pour construire du sens. Nous rappelons quelles catégories de gestes sont utilisées lors d'une interaction visuo-gestuelle. Suite à l'analyse de la production de gestes et des méthodes d'extraction des paramètres nécessaires à l'interprétation, nous exposons la construction d'un langage de commande gestuelle de dispositif d'affichage. Nous proposons alors une méthode d'estimation de la posture d'un bras humain à partir des positions de ses articulations dans une image. Nous présentons ensuite deux méthodes permettant de retrouver les positions des articulations de l'épaule et du poignet d'une personne. La première méthode de suivi du haut du corps utilise un modèle actif de forme. Ce modèle nous permet d'inférer les positions des articulations, il est évalué sur l'erreur de reconstruction. La deuxième méthode, originale et robuste, effectue un suivi de la tête et des mains en utilisant des filtres à particules. Nous proposons ensuite une optimisation de ce suivi en introduisant un recuit simulé. Cette méthode est évaluée en termes de précision en position et de qualité du suivi image à image.

This thesis take place in the context of communication gestures production analysis during a man machine interaction or during a sign language dircurs. To interpret those gestures, we have proposed tracking methods of different body parts from a monocular images sequence. We have, first, defined the functions and modalities of production of communication gestures. We describe the notations sytem and body parts used to build meaning. We recall which kind of gestures are used during an visuo-gestural interaction. Following the analysis of gestures productions and of methods used to extract the paramters needed for the interpretation, we explain the composition of a gestural language to interact with larges display surfaces. Next, we propose an arm posture estimation methode from the positions of its articulations in the image. Then, we present two methode that able us to retrieve the position of the shoulder and wrist articulations of a person in the image. The first method track the upper body contour using an active shape model. Using this model we can infer the position of the shoulder articulation, the inference is evaluated on the reconstruction error. The second method, original and robust, track the head and hands of a person using particles filters. The we propose an optimisation of the tracking introducing an simulated annealing embeded in the particles filters. This method is evaluated in position precision and in the tracking quality frame by frame.