Exploration et discussion collaborative des données grâce à la réalité augmentée

Collaborative Data Exploration and Discussion Supported by Augmented Reality

• Auteur / Autrice : Mickaël Sereno
• Direction : Tobias Isenberg
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/12/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Saclay, Ile-de-France) - Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....) - Analyse et visualisation (équipe de recherche ; Orsay)
• Jury : Président / Présidente : Caroline Appert
• Jury : Examinateurs / Examinatrices : Michael Sedlmair, Tim Dwyer, Jeanne Vézien, Ferran Argelaguet Sanz
• Jury : Rapporteurs / Rapporteuses : Michael Sedlmair, Tim Dwyer

Mots clés

Mots clés contrôlés

Travail collaboratif

Data visualisation

Réalité augmentée

Mots clés libres

Visualisation collaborative analytique

Réalité augmentée

Visualisation scientifique

Collaborative Immersive Analytics

Scientific Visualization

Augmented Reality

Résumé

J'étudie les avantages et limitations des casques de réalité augmentée (RA) pour l'exploration collaborative de données 3D. Avant d’entamer mes travaux, je voyais dans ces casques des avantages liés à leurs capacités immersives : ils fusionnent les espaces interactifs, de visualisation, de collaboration et physique des utilisateurs. Plusieurs collaborateurs peuvent voir et interagir directement avec des visuels 3D ancrés dans le monde réel. Ces casques reposent sur une vision stéréoscopique 3D qui fournit une perception de profondeur accrue par rapport aux écrans 2D, aidant les utilisateurs à mieux comprendre leurs données 3D. Laissant les utilisateurs se voir les uns les autres, il est possible de transitionner sans effort d’une phase de discussion à une phase d'exploration. Ces casques permettant aux utilisateurs d’interagir au sein de l’espace de travail de manière directe, rapide et intuitive en 3D, donnent des indices sur les intentions d'une personne aux autres. Par exemple, le fait de déplacer un objet en le saisissant est un indice fort sur les intentions de cette personne. Enfin, en n'occultant pas le monde réel, les outils habituels mais importants tels que les postes de travail restent facilement accessibles dans cet environnement. Cela étant, et bien qu’ils soient étudiés depuis des décennies, la puissance de calcul de ces casques avant la récente sortie de l'HoloLens en 2016 n'était pas suffisante pour une exploration efficace de données 3D telles que des données océaniques. De plus, les chercheurs précédemment étaient plus intéressés par comment rendre la RA possible que par comment utiliser la RA. Malgré toutes leurs qualités, il y a donc peu de travaux qui traitent de l'exploration de jeux de données 3D. Finalement, les casques de RA ne fournissent pas d'entrées 2D qui sont couramment utilisées avec les outils d'exploration actuels tels que ParaView et les logiciels de CAO, avec lesquels entre autre scientifiques et ingénieurs sont déjà efficaces. Je théorise donc dans cette thèse les situations où ces casques sont préférables. Ils semblent préférables lorsque l'objectif est de partager des idées, d'explorer des modèles ensemble et lorsque les outils d'exploration peuvent être minimaux par rapport à ce que les postes de travail fournissent, et ou la plupart des travaux et simulations préalables peuvent être effectués à l'avance. J'associe alors les casques de RA à des tablettes tactiles. J'utilise ces casques pour fusionner la visualisation, certaines interactions 3D et les espaces de collaboration dans l'espace physique des utilisateurs, et les tablettes pour la saisie 2D et l'interface utilisateur graphique habituelle que la plupart des logiciels proposent.J’étudie ensuite l'interaction de bas niveau nécessaire à l'exploration de données. Cela concerne la sélection de points et de régions dans des données 3D à l'aide de ce système hybride. Comme cette thèse vise à étudier les casques de RA dans des environnements collaboratifs, j’étudie également leurs capacités à adapter le visuel à chaque collaborateur pour un objet 3D ancré donné, similairement au "What-You-See-Is-What-I-See" relaxé qui permet par exemple à plusieurs utilisateurs de voir et modifier simultanément différentes parties d'un document partagé. Enfin, j’étudie en ce moment l'utilisation de mon système pour l'exploration collaborative en 3D des jeux de données océaniques sur lesquels travaillent mes collaborateurs du Helmholtz-Zentrum Geesthacht en Allemagne. Pour résumer, cette thèse fournit un état de l'art de la RA à des fins collaboratifs, fournit un aperçu de l'impact de la directivité de l'interaction 3D sur l'exploration de donnée 3D, et donne aux concepteurs un aperçu de l'utilisation de la RA pour l'exploration collaborative de données scientifique 2D et 3D, en mettant l'accent sur le domaine océanographique.

I studied the benefits and limitations of Augmented Reality (AR) Head-Mounted Displays (AR-HMDs) for collaborative 3D data exploration. Prior of conducting any projects, I saw in AR-HMDs benefits concerning their immersive features: AR-HMDs merge the interactive, visualization, collaborative, and users' physical spaces together. Multiple collaborators can then see and interact directly with 3D visuals anchored within the users' physical space. AR-HMDs usually rely on stereoscopic 3D displays which provide additional depth cues compared to 2D screens, supporting users at understanding 3D datasets better. As AR-HMDs allow users to see each other within the workspace, seamless switches between discussion and exploration phases are possible. Interacting within those visualizations allow for fast and intuitive 3D direct interactions, which yields cues about one's intentions to others, e.g., moving an object by grabbing it is a strong cue about what a person intends to do with that object. Those cues are important for everyone to understand what is currently going on. Finally, by not occluding the users' physical space, usual but important tools such as billboards and workstations performing simulations are still easily accessible within this environment without wearing off the headsets. That being said, and while AR-HMDs are being studied for decades, their computing power before the recent release of the HoloLens in 2016 was not enough for an efficient exploration of 3D data such as ocean datasets. Moreover, previous researchers were more interested in how to make AR possible as opposed to how to use AR. Then, despite all those qualities one may think prior of working with AR-HMDs, there were almost no work that discusses the exploration of such 3D datasets. Moreover AR-HMDs are not suitable for 2D input which are however commonly used with usual explorative tools such as ParaView or CAD software, where users such as scientists and engineers are already efficient with. I then theorize in what situations are AR-HMDs preferable. They seem preferable when the purpose is to share insights with multiple collaborators and to explore patterns together, and where explorative tools can be minimal compared to what workstations provide as most of the prior work and simulations can be done before hand. I am thus combining AR-HMDs with multi-touch tablets, where I use AR-HMDs to merge the visualizations, some 3D interactions, and the collaborative spaces within the users' physical space, and I use the tablets for 2D input and usual Graphical User Interfaces that most software provides (e.g., buttons and menus). I then studied low-level interactions necessary for data exploration which concern the selection of points and regions inside datasets using this new hybrid system. The techniques my co-authors and I have chosen possess different level of directness that we investigated. As this PhD aims at studying AR-HMDs within collaborative environments, I also studied their capacities to adapt the visual to each collaborator for a given anchored 3D object. This is similar to the relaxed "What-You-See-Is-What-I-See" that allows, e.g., multiple users to see different parts of a shared document that remote users can edit simultaneously. Finally, I am currently (i.e., is not finished by the time I am writing this PhD) studying the use of this new system for the collaborative 3D data exploration of ocean datasets that my collaborators at Helmholtz-Zentrum Geesthacht, Germany, are working on. This PhD provides a state of the art of AR used within collaborative environments. It also gives insights about the impacts of 3D interaction directness for 3D data exploration. This PhD finally gives designers insights about the use of AR for collaborative scientific data exploration, with a focus on oceanography.