Exploitation de la dynamique du geste en IHM : application aux fonctions de transfert pour le pointage et l'extraction d'événements discrets

Exploiting the dynamics of the gesture in HCI : applications to the transfer functions for pointing and extracting discrete events

• Auteur / Autrice : Jean-Philippe Deblonde
• Direction : Laurent Grisoni
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 28/09/2012
• Etablissement(s) : Lille 1
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Lille)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique fondamentale de Lille (2002-2014)

Mots clés

Mots clés contrôlés

Réalité virtuelle

Mouvements

Main

Fonctions de transfert

Manipulation

Souris (informatique)

Interaction humain-machine

Mots clés libres

Fonction de gain

Interfaces sans contact

Résumé

La dynamique du geste reste peu exploitée dans le domaine de l’interaction hommemachinealors qu’elle permet de définir des critères simples d’analyse de l’intention desutilisateurs. Sa principale utilisation porte sur les fonctions de transfert des périphériquesisotoniques. Ces fonctions permettent d’établir une relation entre le geste de l’utilisateureffectué dans l’espace moteur avec le périphérique de pointage (i.e. souris) et le mouvementdu pointeur dans l’espace visuel. Les fonctions de transfert utilisées par les systèmesd’exploitation modernes restent cependant fortement méconnues même si des études ontmontré qu’elles ont un impact sur les performances des utilisateurs. Pour caractériser cesfonctions, nous avons développé un périphérique électronique qui simule une souris réelleet qui permet d’obtenir les fonctions de transfert de tout système. Nous avons ainsi puobtenir les fonctions des systèmes Windows, Linux et Mac et nous avons observé des différencesnotables entre ces fonctions. Nous avons ensuite cherché à optimiser ces fonctionsen réduisant au maximum le nombre de leurs degrés de liberté. En faisant varier de manièreexhaustive ces paramètres, nous avons ainsi pu observé des différences significativesqui montrent qu’il existe une famille de fonctions pour lesquelles les performances sontoptimales. Enfin, nous nous sommes intéressés à l’utilisation de la dynamique du gestedans un autre contexte, celui de la génération d’événements discrets, pertinent dans lecadre des interfaces sans contact de type Kinect. Nous avons ainsi montré qu’il est possiblede distinguer la sélection du déplacement dans une tâche d’interaction 3D. La techniquedéveloppée est ensuite améliorée dans le cas des cibles de petites tailles et son applicationdans un contexte d’interaction 2D est évaluée.

The dynamic of the gesture is not used a lot in the domain of human-computer interaction,while it can help to define some simple heuristics to analyze the intents of users.Its first use is related to transfer functions for isotonic devices. Those functions establisha relationship between the gesture of the user, executed in motor space with the pointingdevice (i.e. a mouse), and the movement of the pointer in the visual space. The transferfunctions used by modern operating systems are still not well known, even if somestudies have shown they have an impact on user’s performance. To characterize thosefunctions, we have developed an electronic device which simulates a real mouse, and thatcan retrieve the transfer functions of any system. We have then exposed the functions ofthe Windows, Linux and Mac systems, and we observed some visible differences betweenthose functions. We have then tried to optimize those functions by reducing their numberof degrees of freedom. By varying those parameters in an exhaustive way, we have thenobserved some significant differences that show there is a family of functions for whichperformances are optimal. Finally, we were interested in the use of the dynamic of thegesture in another context : the generation of discrete events, useful when dealing withcontact-less interfaces, like the Kinect. We have shown that it is possible to distinguishbetween picking and drag’n’drop in a 3D interaction task. The technique is then improvedin the case of small size targets, and its application in a 2D interaction context isevaluated.