Extension de l'espace d'interaction en réalité augmentée : Contributions aux environnements augmentés par transparence optique et par projection

Extending Interaction Space in Augmented Reality : Contributions in Optical-See-Through and Projection-Based Augmented Environments

• Auteur / Autrice : Rajkumar Darbar
• Direction : Martin Hachet, Pascal Guitton
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/09/2021
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique - Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux)
• Jury : Président / Présidente : Caroline Appert
• Jury : Examinateurs / Examinatrices : Martin Hachet, Pascal Guitton, Marcos Serrano, Gilles Bailly, Céline Coutrix
• Jury : Rapporteurs / Rapporteuses : Marcos Serrano, Gilles Bailly

Mots clés

Mots clés contrôlés

Interfaces utilisateur (informatique)

Interaction humain-machine

Réalité augmentée

Mots clés libres

Réalité augmentée

Ihm

Augmented reality

Input interaction

Side tasks

Menu interaction

Text selection

Drone interaction

Résumé

Contrairement aux environnements informatiques de bureaux, la réalité augmentée (RA) estompe les frontières entre le monde physique et le monde numérique en superposant des informations virtuelles à l'environnement réel. Il est notamment possible de créer une expérience immersive de réalité augmentée en portant un casque dédiée sur la tête, ou en utilisant des vidéoprojecteurs. Cette thèse explore les défis d'interaction associés à ces deux types d’affichage de réalité augmentée.Les casques de réalité augmentée s'améliorent constamment en termes d'affichage (c'est-à-dire le champ de vision), de suivi, de techniques d'interaction et de portabilité. Les techniques d'entrée actuellement disponibles (telles que la saisie manuelle, la tête/le regard et la voix) dans les casque RA sont relativement faciles à utiliser pour certaines tâches (par exemple, saisir et déplacer un objet). Cependant, elles manquent de précision et ne sont pas adaptées à un usage prolongé. Par conséquent, les tâches qui nécessitent de la précision deviennent difficiles à réaliser. Dans nos recherches, nous considérons une telle tâche - la sélection de texte qui nécessite une précision au niveau des caractères.D'autre part, la RA basée sur la projection, généralement appelée réalité augmentée spatiale (RAS), augmente directement les objets physiques avec du contenu numérique en utilisant des projecteurs. Dans la RAS, l'augmentation numérique est généralement prédéfinie et l'utilisateur agit souvent comme un spectateur passif. Pour apporter de l'interactivité à la RAS, les utilisateurs ont besoin de widgets graphiques contextuels (fenêtres contextuelles, menus, étiquettes, outils interactifs, etc.) Malheureusement, l'intégration de ces widgets dans la scène RAS est difficile.Dans cette thèse, nous avons exploré de nouvelles techniques d'interaction pour relever les défis mentionnés ci-dessus. Nos deux principales contributions sont les suivantesPremièrement, nous avons étudié l'utilisation d'un smartphone comme contrôleur interactif pour sélectionner du texte affiché au travers d’un casque. Nous avons développé quatre techniques de sélection de texte à une main pour les casques de RA à l'aide d'un smartphone : le toucher continu (où l'écran tactile du smartphone agit comme un pavé tactile), le toucher discret (où l'écran tactile du smartphone est utilisé pour déplacer le curseur caractère par caractère, mot par mot et ligne par ligne), le mouvement spatial (le smartphone est déplacé devant l’utilisateur) et la projection de rayons (le smartphone est utilisé comme un pointeur laser). Nous les avons également comparés dans une étude utilisateur.Deuxièmement, nous avons étendu l'espace physique dans des environnement en RAS en fournissant des widgets graphiques 2D dans l'air en utilisant la projection sur un panneau de projection monté sur un drone. Les utilisateurs peuvent contrôler la position du drone et interagir dynamiquement avec les informations projetées à l'aide d'une manette. Nous présentons trois façons possibles d'intégrer des widgets à l'aide d'un drone en RSA : afficher des annotations en l’air, fournir des outils interactifs, supporter différents points de vue. Nous décrivons également les détails de mise en œuvre de notre approche.Ces explorations visent à étendre l'espace d'interaction dans les applications immersives de réalité augmentée.

Unlike desktop computing, Augmented reality (AR) blurs the boundaries between the physical and digital world by superimposing virtual information to the real environment. It is for example possible to create an immersive AR experience either by wearing a head-mounted display or using a projector. This thesis explores interaction challenges associated with these two types of augmented reality displays.Head-mounted AR displays (AR-HMDs) are constantly improving in terms of display (i.e., the field of view), tracking, interaction techniques, and portability. Currently available input techniques (such as hand-tacking, head/eye-gaze, and voice) in AR glasses are relatively easy to use for some tasks (e.g., grasping and moving an object). However, they lack precision and are not suitable for prolonged usage. Therefore, tasks that require accuracy become difficult to perform. In this research, we consider one such task — text selection that needs character level precision.On the other hand, projection-based AR, usually called as spatial augmented reality (SAR), augments physical objects directly with digital content using projectors. In SAR, digital augmentation is generally pre-defined, and the user often acts as a passive viewer. To bring interactivity in SAR, users require contextual graphical widgets (pop-up windows, menus, labels, interactive tools, etc.). Unfortunately, embedding those widgets within the SAR scene is challenging.In this dissertation, we explored new interaction techniques to address those challenges mentioned above. Our two main contributions are —First, we investigated the use of a smartphone as an interactive controller for selecting text in AR displays. We developed four eyes-free, one-handed text selection techniques for AR-HMDs using a smartphone: continuous touch (where smartphone touchscreen acted as a trackpad pad), discrete touch (where smartphone touchscreen was used to move the cursor character by character, word by word, and line by line), spatial movement (smartphone was used as an air-mouse), and raycasting (smartphone was used as a laser pointer). We also compared them in a user study.Second, we extended the physical space of SAR by providing 2D graphical widgets in mid-air using projection on a drone-mounted panel. Users are able to control the drone position and interact with the projected information dynamically with a handheld controller. We present three possible ways to embed widgets using a drone in SAR: displaying annotations in mid-air, providing interactive tools, supporting different viewpoints. We also describe the implementation details of our approach.These explorations aim at extending the interaction space in immersive AR applications.