Acquisition temps réel de la gestuelle humaine pour l'interaction en réalité virtuelle

Real-time acquisition of human gestures for interacting with virtual environments

• Auteur / Autrice : Radu-Daniel Vatavu
• Direction : Stefan-Gheorghe Pentiuc, Christophe Chaillou
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/03/2008
• Etablissement(s) : Lille 1 en cotutelle avec Universitatea ''Stefan cel Mare'' (Suceava, Roumanie). Département d'études françaises
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Lille ; 1992-2021)
• Jury : Président / Présidente : Adrian Graur
• Jury : Examinateurs / Examinatrices : Radu Horaud, Dan Galea, Laurent Grisoni

Mots clés

Mots clés contrôlés

Théorie des splines

Réalité virtuelle

Simulation par ordinateur

Gestes

Vision par ordinateur

Interaction humain-machine

Mots clés libres

Interaction homme-ordinateur

Splines, Théorie des

Vision par ordinateur

Gestes -- Simulation par ordinateur

Réalité virtuelle

Résumé

La thèse traite du problème de la reconnaissance des gestes avec des accents particuliers orientés vers la modélisation des trajectoires de mouvement ainsi que vers l’estimation de la variabilité présente dans l’exécution gestuelle. Les gestes sont acquis dans un scénario typique pour la vision par ordinateur qui approche les particularités des surfaces interactives. On propose un modèle flexible pour les commandes gestuelles à partir d’une représentation par courbes splines et des analogies avec des éléments de la théorie d’élasticité de la physique classique. On utilise les propriétés du modèle pour la reconnaissance des gestes dans un contexte d’apprentissage supervisé. Pour adresser le problème de la variation présente dans l’exécution des gestes, on propose un modèle qui mesure dans une manière quantitative et objective les tendances locales que les utilisateurs sont tentés d'introduire dans leurs exécutions. On utilise ce modèle pour proposer une solution à un problème reconnu comme difficile dans la communauté : la segmentation automatique des trajectoires continues de mouvement et l’identification invariante a l’échelle des commands gestuelles. On démontre aussi l’efficacité du modèle pour effectuer des analyses de type ergonomique pour les dictionnaires de gestes.

We address in this thesis the problem of gesture recognition with specific focus on providing a flexible model for movement trajectories as well as for estimating the variation in execution that is inherently present when performing gestures. Gestures are captured in a computer vision scenario which approaches somewhat the specifics of interactive surfaces. We propose a flexible model for gesture commands based on a spline representation which is enhanced with elastic properties in a direct analogy with the theory of elasticity from classical physics. The model is further used for achieving gesture recognition in the context of supervised learning. In order to address the problem of variability in execution, we propose a model that measures objectively and quantitatively the local tendencies that users introduce in their executions. We make use of this model in order to address a problem that is considered hard by the community: automatic segmentation of continuous motion trajectories and scale invariant identification of gesture commands. We equally show the usefulness of our model for performing ergonomic analysis on gesture dictionaries.