Environnements de réalité physique et augmentée utilisés dans l'analyse visuelle collaborative

Augmented and Physical reality environments used in collaborative visual analysis

• Auteur / Autrice : Raphaël James
• Direction : Anastasia Bezerianos
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/02/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Jury : Président / Présidente : Petra Isenberg
• Jury : Examinateurs / Examinatrices : Gilles Bailly, Laurent Grisoni, Christophe Hurter, Valérie Gouranton
• Jury : Rapporteur / Rapporteuse : Gilles Bailly, Laurent Grisoni

Mots clés

Mots clés contrôlés

Systèmes d'affichage

Coopération (psychologie)

Travail collaboratif

Data visualisation

Réalité augmentée

Interaction humain-machine

Mots clés libres

Interaction homme-ordinateur

Réalité augmentée

Data visualisation

Travail collaboratif

Coopération (psychologie)

Systèmes d’affichage

Human-Computer Interaction

Augmented Reality

Data Visualization

Collaboration

Cooperation(Psychology)

Displays

Résumé

La quantité de données produite chaque jour est en croissance constante. Cette masse d’information demande de trouver des solutions pour les analyser et les visualiser. Les murs d’écrans sont de bon candidat pour résoudre ce problème, car ils permettent d’afficher une grande quantité de données. Cependant, ce sont des écrans partagés, conçus pour plusieurs personnes, ce qui ne permet pas d’avoir des espaces de travail privés. De plus, un mur d’écran reste un périphérique d’affichage physique qui est coûteux à agrandir lorsque la quantité de contenu à afficher devient trop grande.Dans ce manuscrit, j’explore la combinaison de la Réalité Augmentée (RA) et d’un mur d’écrans, pour premièrement, ajouter un affichage d’informations personnalisées; et deuxièmement, étendre virtuellement l’espace de rendu. Nous concentrons nos efforts sur l’étude de la synergie de ces deux dispositifs à travers deux questions de recherche :QR1 - Comment la RA peut-elle aider à l’exploration et la navigation d’un réseau sur un mur d’écrans, en ayant un visuel et une navigation personnelle ?QR2 - Comment l’extension du mur d’écran avec la RA change-t-elle l’exploitation de l’espace par les utilisateurs durant une session de collaboration ?Pour RQ1, j’étudie le cas de l’utilisation de la RA avec un mur d’écrans pour la navigation de réseaux. Nous présentons 4 techniques, proposant différents mécanismes d’aide visuelle à la navigation. Nous évaluons ensuite ces 4 techniques lors de deux expériences, une de parcours de chemin de faible précision (sélection de chemin) et une autre de parcours de chemin de haute précision (tracé de chemin). Pour la tâche de sélection de chemin, une connexion persistante entre le curseur en RA et le réseau sur le mur permet de meilleur résultat.Dans le cas du tracé de chemin, nous observons qu’une connexion plus légère offre une meilleure performance. De plus, nous montrons la viabilité d’un système où l’interaction se fait en RA, pour la navigation de réseau sur des écrans partagés.Pour RQ2, je porte mon attention sur l’espace disponible devant le mur d’écrans, et envisage l’utilisation de cet espace pour étendre le mur d’écran avec de la RA. Je présente un système, étendant le mur d’écrans grâce à la RA en utilisant les dimensions de l’espace disponible devant le Mur. Nous comparons notre système avec un mur d’écran seul avec deux tâches collaboratives.Nous observons qu’avec notre système, les utilisateurs utilisent principalement l’espace virtuel. Bien que cela crée un surcoût pour l’interaction, nous n’observons aucune différence de performance avec le mur d’écran seul, et nous observons un vrai bénéfice à cet espace supplémentaire.La complexité de mise en place des systèmes précédemment étudiés nous a amené à étudier une manière moins coûteuse d’utiliser un mur d’écran: QR3 - Peut-on émuler un mur d’écran avec un casque de RV ?Cette question ayant plusieurs facettes, je me concentre sur la capacité des casques de RV d’atteindre la résolution nécessaire à répliquer l’expérience d’utilisation d’un mur haute résolution. Pour ce faire, nous étudions le modèle optique des casques de RV et le comparons au modèle de la vision humaine. Notre analyse indique que les casques actuels n’ont pas une résolution suffisante pour émuler un mur de haute résolution.Nous confirmons cette analyse avec une experience pilote qui compare un mur d’écrans, deux casques de RV et une émulation d’un casque de RV parfait.Je conclus ce manuscrit en discutant plus largement des différentes manières pour les murs d’écran d’être complétés par les casques d’AR et des implications de leur remplacement par des casques de VR/AR, et j’élabore sur les directions de recherches qu’ouvre cette thèse.

The amount of data produced every day is constantly growing. This mass of raw information requires finding solutions to analyze and visualize it.Wall displays are a good candidate to solve this issue, allowing to display a large amount of data.However, they are shared devices made to accommodate several people, which does not allow for the existence of a private workspace. Moreover, wall displays are still physical devices that can not be easily extended when the content to display becomes too large.In this manuscript, I explore the combination of Augmented Reality (AR) and a wall display to: first, add a personalized information space onto a wall display; and second, extend the rendering space. We focus on using an augmented reality headset (AR-HMD) to display content complementary to the context offered by the wall. We study the synergy of these two devices through two research questions: RQ1 - How can AR assist exploration and navigation of a network on a wall display, through personal view and navigation?RQ2 - How does extending the screen space of a wall display using AR changes users’ space exploitation during a collaborative session?For RQ1, I study the case of using AR with a wall display for navigating networks. I present four techniques, proposing different visual aid mechanisms for navigation. I then evaluate these four techniques in two experiments, one for low accuracy path following in the network (path selection) and one for high accuracy path following (path tracing). We report that for the path selection task, a persistent connection between the cursor in AR and the network on the wall obtained better results. In the case of path tracing, we observe that a lighter connection offered better performance. Moreover, we show the feasibility of a system where the interaction is done privately in AR for network navigation on shared screens.For RQ2, I focus on the space available in front of the wall display and consider using AR to extend the wall display. I present a system extending a wall display with AR, taking advantage of the space in front of the wall. We compare our system that combines a wall display with AR with a wall display alone using two collaborative tasks.We observe that users extensively use the available virtual space with our system. Although this creates an additional cost of interaction, we observe no performance difference and a real benefit of this extra space.The complexity of setting up the previously studied systems led us to study a cheaper way to use a wall display: RQ3 - Can we emulate a wall display inside a VR headset?This question has many aspects, and I focus on the capacity for VR headsets to reach the necessary resolution to replicate the user experience of a high-resolution wall display. For this, we study the optic model of VR headsets and compare it to the human vision model. Our analysis indicates that current headsets need a higher resolution to emulate a wall display. We confirm our analysis by running a pilot study comparing a wall display, two VR headsets, and an emulation of a perfect VR headset.I conclude this manuscript by discussing the different ways for a wall display to be combined with AR headsets, the requirements for replacing wall displays by VR/AR headsets, and by elabo- rating on the future work this thesis opens.