Modèle d’interaction gestuelle entre humain et acteur de synthèse dans un contexte de théâtre virtuel

Model of real-time gesture interaction between human and synthetic actor in the context of virtual theater

• Auteur / Autrice : Ronan Billon
• Direction : Jacques Tisseau
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2010
• Etablissement(s) : Brest

Mots clés

Mots clés contrôlés

Gestes

Simulation par ordinateur

Théâtre

Réalité virtuelle

Mots clés libres

Reconnaissance de gestes

Théâtre virtuel

Acteur de synthèse

Communication non-verbale

Acp

Résumé

Ce travail de thèse se situe dans le cadre général de la communication et de l’interaction en environnement de réalité virtuelle. Nous nous intéressons particulièrement à la communication non-verbale entre l’humain et un acteur virtuel autonome. Nos travaux se positionnent dans un contexte d’interaction gestuelle qui soit la plus naturelle possible. Notre problématique consiste alors à percevoir et reconnaître un geste ou une séquence de gestes en temps-réel. Dans ce contexte, nous proposons de mettre en oeuvre un modèle de reconnaissance gestuelle efficace. Il existe actuellement de véritables difficultés pour créer une analyse de la dynamique des gestes. Les travaux issus de l’état de l’art décrit reposent sur la transcription des gestes en symboles. Un systéme de reconnaissance efficace devra répondre à un apprentissage simple, une reconnaissance temps-réel, une segmentation automatique du flux de mouvements, une extensibilité de la base de gestes aisée. Notre proposition est de fonder le notre sur une gestion de signature de geste. Nous montrons que grâce à une technique de compression basée sur I’ACP et une représentation géométrique appropriée, nous obtenons une image du geste contenant les informations nécessaires pour le caractériser et ainsi faciliter la comparaison avec l’observation temps-réel du flux continu. Nous introduisons une nouvelle technique de segmentation du flux associant la signature à un modèle d’agents. Nous avons appliqué avec succès nos travaux à une évaluation en condition de laboratoire puis devant un public dans un contexte de théâtre virtuel basé sur un scénario de Capoeira.

This work takes place in the general framework of communication and interaction in virtual reality environment. We are particularly interested in the nonverbal communication between humans and autonomous virtual actor. We position our work in the field of gesture interaction that is as natural as possible. Then, our problematic is to perceive and recognize a gesture or a sequence of gestures in realtime. In this context, we search to implement an effective model of gesture recognition. There are currently difficulties on the analysis of dynamic gestures. All studies from the state of the art described in this thesis refer all on the transcription of gestures into symbols. An effective recognition system should respond to: quick and easy learning stage; real-time recognition; automatic segmentation of the flow of movements; scalability of the database. To our knowledge, no system meet all these characteristics simultaneously. Our proposal is to base our model on gesture signature. This summerize the essence of the gesture. We show that using a compression technique based on PCA and a proper geometric adjustement we can compute a representation containing the information needed to characterize the gesture and faciitate the comparison with the observation of real-time flow. We introduce a new technique for segmenting the real-time flow based on the combination of the signature and an agent model. We applied our work, with success, on laboratory conditions evaluations and then in front of an audience in a play based on a Capoeira script in a theater.