Comprendre et concevoir l'interaction par microgestes

Understanding and designing microgesture interactions

• Auteur / Autrice : Adrien Chaffangeon Caillet
• Direction : Laurence Nigay, Alix Goguey
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/12/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire franco-mexicain d'informatique (Grenoble ; 2002-2007)
• Partenaire(s) de recherche : Equipe de recherche : Equipe de recherche Ingénierie de l'interaction homme-machine (Grenoble ; 1989-....)
• Jury : Président / Présidente : Emmanuel Dubois
• Jury : Examinateurs / Examinatrices : Fanny Chevalier, Frédéric Noël
• Jury : Rapporteurs / Rapporteuses : Michel Beaudouin-Lafon, Géry Casiez

Mots clés

Mots clés contrôlés

Réalité augmentée

Fichiers (informatique) -- Organisation

Capture de mouvements

Mots clés libres

Ihm

Microgeste

Réalité augmentée

Hci

Microgesture

Augmented reality

Résumé

Au cours des trente dernières années, certains objets de notre quotidien se sont progressivement mués en véritables ordinateurs.Nos modes de vie changent avec ces mutations et il n’est pas rare que nous interagissions avec ces ordinateurs tout en effectuant d’autres tâches, p.ex. en vérifiant notre position GPS sur notre montre connectée pendant nos sorties vélo.Au cours de la dernière décénnie, une nouvelle modalité d’interaction est apparue pour répondre à ces besoins: les microgestes de la main.Les microgestes de la main, simplifiés en microgestes, sont des mouvements rapides et subtils des doigts.Ils permettent d’interagir parallèlement à une tâche principale, car ils sont rapides et réalisables en tenant un objet.Cependant, s’agissant d’une modalité récente, le domaine de recherche manque encore de structure et parfois de cohérence.Il n’existe, par exemple, aucune convention pour nommer ou décrire les microgestes, ce qui peut entraîner des incohérences terminologiques entre les différents articles.De plus, la littérature se concentre principalement sur les systèmes de captation et de reconnaissance de ces microgestes.Ainsi, peu d’études examinent les propriétés attendues des microgestes, comme la rapidité ou le faible impact sur la fatigue physique dans certains contextes d’utilisation.De ce fait, cette thèse s’intéresse à l’étude des microgestes, de leur description à leur application dans un domaine précis, la réalité augmentée (RA), en passant par la captation et la reconnaissance de ceux-ci.Cette thèse est divisée en trois parties.Dans la première partie, nous nous concentrons sur l’espace des possibles.Après une revue de la littérature pour mettre en évidence la diversité des microgestes et les problèmes terminologiques, nous présentons μGlyphe, une notation pour décrire les microgestes.Ensuite, nous présentons une étude utilisateur pour comprendre les contraintes imposées sur la faisabilité des microgestes lorsqu’un objet est tenu dans la main.Les résultats de cette étude ont été utilisés pour créer un ensemble de trois règles permettant de déterminer la faisabilité des microgestes dans différents contextes, c.-à-d. différentes préhensions.Pour faciliter l’utilisation, nous avons réutilisé μGlyphe pour fournir une description visuelle de ces règles.Enfin, nous étudions différentes manières de rendre un ensemble de microgestes compatibles avec de nombreux contextes, c.-à-d. que chaque microgeste de l’ensemble soit réalisable dans tous les contextes.Dans la deuxième partie, nous nous concentrons sur la conception de systèmes de captation et de reconnaissance de microgestes.Après une revue de ces systèmes dans la littérature, nous présentons les systèmes de captation mis en œuvre dans cette thèse : deux gants.Nous présentons ensuite une étude utilisateur qui suggère un impact faible du port d’un gant sur la faisabilité des microgestes.Ensuite, nous présentons un système plus complet reconnaissant à la fois microgestes et contextes.Nos études sur les taux de reconnaissance suggèrent que ce système est utilisable pour la détection de microgestes, avec un taux de 94%, mais doit être amélioré pour la reconnaissance de contexte, avec un taux de 80%.Enfin, nous présentons une preuve de concept sur la création d’un gant modulaire et d’un système de reconnaissance basé sur μGlyphe pour permettre l’unification des systèmes de captation des microgestes.Dans la dernière partie, nous nous intéressons aux propriétés de microgestes pour la sélection 3D en RA.Ainsi, nous avons conçu deux techniques de sélection 3D basées sur le regard et les microgestes pour une interaction avec un faible impact sur la fatigue physique.Nos résultats suggèrent que la combinaison regard et microgestes permet une interaction rapide tout en minimisant la fatigue, en comparaison du pointeur virtuel usuel.Nous terminons sur une ouverture discutant l’extension de nos techniques afin d’intégrer la manipulation d’objet 3D en RA.

Over the last three decades, some of the objects we use in our daily life have gradually become computers.Our habits are changing with these mutations, and it is now not uncommon that we interact with these computers while performing other tasks, e.g. checking our GPS position on our smartwatch while biking.Over the last ten years, a new interaction modality has emerged to meet these needs: hand microgestures.Hand microgestures, simplified to microgestures, are fast and subtle movements of the fingers.They enable interaction in parallel with a main task, as they are quick and can be performed while holding an object.However, as it is a recent modality, the field of research still lacks structure and sometimes coherence.For instance, there is no convention for naming or describing microgestures, which can lead to terminological inconsistencies between different papers.Moreover, the literature focuses mainly on how to build systems to sense and recognize microgestures.Thus, few studies examine the expected properties of microgestures, such as speed or low impact on physical fatigue in certain contexts of use.As a result, this thesis focuses on the study of microgestures, from their description to their application in a specific field, i.e. Augmented Reality (AR), as well as their sensing and recognition.This thesis is divided into three parts.In the first part, we focus on the space of possibilities.After a literature review to highlight the diversity of microgestures and terminological issues, we present µGlyph, a notation to describe microgestures.Next, we present a user study to understand the constraints imposed when holding an object on the feasibility of microgestures.The results of this study were used to create a set of three rules to determine the feasibility of microgestures in different contexts, i.e. different grasps.For ease of use, we reused µGlyph to provide a visual description of these rules.Finally, we study different ways of making a set of microgestures compatible with many contexts, i.e. that each microgesture in the set is feasible in all contexts.In the second part, we focus on the design of systems for sensing and recognizing microgestures.After a review of such systems in the literature, we present our easily reproducible sensing systems implemented in this thesis, resulting in two gloves.We then present a user study on the impact of wearing these gloves on the feasibility of microgestures.Our results suggest that our gloves have little impact on the feasibility of microgestures.Next, we present a more comprehensive system that recognizes both microgestures and contexts.Our studies on recognition rates suggest that our system is usable for microgesture detection, with a recoognition rate of 94%, but needs to be improved for context recognition, with a rate of 80%.Finally, we present a proof-of-concept of a modular glove and a recognition system based on µGlyph to enable the unification of microgesture sensing systems.Finally, in the last section, we focus on the properties of microgestures for 3D selection in AR.We have thus designed two 3D selection techniques based on eye-gaze and microgestures for interaction with low fatigue.Our results suggest that the combination of eye-gaze and microgesture enables fast interaction while minimizing fatigue, compared to the usual virtual pointer.We conclude with an extension of our techniques to integrate 3D object manipulation in AR.