Interaction en réalité augmentée mobile : exploration et pointage de cibles numériques

Mobile augmented reality interaction : digital objects exploration and pointing

• Auteur / Autrice : Patrick Perea
• Direction : Laurence Nigay, Denis Morand
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/07/2020
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble
• Jury : Président / Présidente : Georges-Pierre Bonneau
• Jury : Examinateurs / Examinatrices : Denis Morand, Nadine Rouillon-Couture
• Jury : Rapporteurs / Rapporteuses : Martin Hachet, Eric Lecolinet

Mots clés

Mots clés contrôlés

Interaction humain-machine

Réalité augmentée

Mots clés libres

Réalité Augmentée

Techniques d’interaction

Guidage

Pointage

Interaction techniques

Augmented reality

Guidance

Pointing

Résumé

Cette thèse s’inscrit dans le domaine de l’Interaction Homme-Machine (IHM) et est dédiée à l’interaction en Réalité Augmentée (RA) sur dispositifs mobiles.La RA permet l’ajout de contenu numérique, principalement graphique, à l’environnement physique de l’utilisateur. L’environnement mixte ainsi obtenu comprend des objets numériques ancrés dans le monde physique. Cet environnement mixte partiellement perceptible sur l’écran du dispositif mobile définit plusieurs contraintes pour l’interaction. Nos travaux sont dédiés à la sélection d’une cible numérique dans cet environnement mixte. Pour cela les deux questions traitées sont : (1) comment améliorer la perception de l’environnement mixte au delà de ce qui est perçu par le champ de vision de la caméra du dispositif mobile, pour trouver une cible numérique (2) comment améliorer le pointage sur dispositif mobile d’une cible numérique ancrée dans l’environnement physique. Nous apportons des contributions à ces deux questions.Nous proposons dans un premier temps trois techniques interactives de guidage hors-champ, que nous évaluons au travers de deux expérimentations en laboratoire. Ces techniques sont basées sur Halo, une solution permettant la visualisation d’objets hors-champ à l’aide de cercles, et diffèrent par la manière de visualiser l’agrégation des cibles numériques hors-champ. Les résultats des deux expérimentations montrent que nos trois techniques étendent efficacement la connaissance de l’utilisateur sur l’environnement mixte hors-champ, et limitent l’intrusion visuelle à l’écran du dispositif mobile par rapport aux solutions traditionnelles à base de flèches.Nous avançons ensuite deux techniques d’interaction pour faciliter le pointage de cibles numériques en RA. Ces techniques sont basées sur (1) les techniques d’expansion de cibles, qui facilitent la sélection de cibles en allouant à chaque cible une zone active plus grande et (2) un saut de curseur, qui raccourcit la distance entre le curseur et les informations regroupées au sein de la cible numérique. Les deux techniques diffèrent par la manière de manipuler le curseur une fois qu’il a sauté sur la cible numérique. Nous offrons deux possibilités : pointage physique en déplaçant l’appareil mobile vers l’information souhaitée, ou pointage relative en utilisant le pouce sur l’écran. Le résultat d’une expérimentation en laboratoire confirme que les techniques d’expansion de cibles diminuent le temps nécessaire à l’acquisition d’une cible, tandis que la manipulation relative du curseur avec le pouce est très largement préférée par les participants.Nos contributions sont appliquées au contexte de la production industrielle, et plus spécifiquement à la maintenance industrielle en charge de réparer ou de prévenir les pannes sur les machines de production. L’entreprise partenaire de cette thèse CIFRE, Schneider Electric, intègre dans le produit Augmented Operator Advisor (application de RA d’aide à la maintenance) une des techniques d’aide au pointage proposées.

This thesis contributes to the research field of Human-Computer Interaction (HCI). The focus of the research is on user interaction with handheld Augmented Reality (AR) systems.AR allows the addition of digital content, primarily graphics, to the user's physical environment. The resulting mixed environment includes digital objects registered in the physical world. This mixed environment, partially visible on the mobile device’s screen, defines several constraints for interaction. Our work is dedicated to the selection of a digital target in this mixed environment and we address two questions: (1) how to improve the perception of the mixed environment beyond what is perceived by the camera’s field of view of the mobile device, for finding off-screen digital targets (2) how to enhance pointing at a digital target registered in the physical environment. Our contributions answer these two questions.We first propose three interactive off-screen guidance techniques, which we evaluate by conducting two laboratory experiments. These techniques are based on Halo, a visualization technique of off-screen objects based on circles, and differ in the way the aggregation of the off-screen objects is displayed on screen. The results of the two experiments show that our three techniques effectively extend users’ knowledge of the mixed environment, and limit the visual intrusion on the mobile device’s screen in comparison with the traditional arrow-based visualization technique.We then define two interaction techniques enhancing the selection of digital targets. These techniques are based on (1) target expansion techniques, which facilitate target selection by allocating a larger active area to each target and (2) a cursor jump, which shortens the distance between the cursor and the content of the digital target. The two techniques differ in the way users manipulate the cursor once it has jumped to the digital target. We propose two possibilities: physical pointing by moving the mobile device to the desired content, or relative pointing using thumb strokes on the screen. The result of a laboratory experiment confirms that target expansion techniques improve the pointing performance, while relative pointing is preferred by participants.Our contributions are applied to the field of industrial maintenance, in charge of repairing or preventing failures on production machines. As part of a Schneider Electric-CIFRE thesis, the Schneider Electric’s Augmented Operator Advisor product (AR maintenance assistance application) includes one of the proposed targeting assistance techniques.