Cohérence spatiale entre les espaces de travail réels et virtuels pour les tâches individuelles et collaboratives dans les environnements virtuels

Spatial consistency between real and virtual workspaces for individual and collaborative tasks in virtual environments

• Auteur / Autrice : Yiran Zhang
• Direction : Patrick Bourdot, Cédric Fleury
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/12/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Nicolas Sabouret
• Jury : Examinateurs / Examinatrices : Thierry Duval, Victoria Interrante, Daniel Mestre, Weiya Chen, Ferran Argelaguet Sanz
• Jury : Rapporteurs / Rapporteuses : Thierry Duval, Victoria Interrante

Mots clés

Mots clés contrôlés

Systèmes homme-machine

Réalité virtuelle

Mots clés libres

Réalité virtuelle

Techniques interactives

Consistance spatiale

Navigation

Téléportation

Virtual reality

Interactive techniques

Spatial consistency

Navigation

Teleportation

Résumé

De nombreuses applications de réalité virtuelle (RV) se basent sur une parfaite mise en correspondance du positionnement de l'utilisateur entre l’environnement réel et celui virtuel. Cette cohérence spatiale est nécessaire pour maximiser l'espace de travail virtuel qui est accessible par les mouvements physiques dans le monde réel. Elle est également requise pour l'interaction tangible, mais aussi celle co-localisée dans le cadre de tâches collaboratives complexes. Cependant, dans certaines situations, la navigation individuelle de l'utilisateur induit une perte de cette cohérence spatiale. Afin d’éviter ce problème, la navigation dans les environnements virtuels à grande échelle est généralement exclue et les scénarios d'utilisation sont alors construits autour d’une séquence d'expériences virtuelles. L'objectif de cette thèse est de permettre aux utilisateurs d'explorer un environnement virtuel à grande échelle tout en étant en mesure de rétablir la cohérence spatiale dans des zones appropriées de l'environnement virtuel là où les tâches à accomplir le nécessitent. La contribution principale de ces travaux est de proposer une solution générique pour rétablir cette cohérence spatiale lorsque les déplacements virtuels sont opérés par téléportation. Cette métaphore de navigation est l'une des plus utilisées dans les applications de RV et il a aussi été démontré qu'elle réduit le mal du simulateur du fait du déplacement instantané qu’elle opère. Ma thèse explore différentes techniques permettant de rétablir la cohérence spatiale après téléportation sur différents dispositifs immersifs (CAVE vs. HMD) et contextes interactifs (interaction individuelle, tangible et collaboration complexe en situation co-localisée). Elle présente aussi des résultats expérimentaux qui valident ces techniques. Tout d'abord, j'ai étudié deux techniques interactives qui aident les utilisateurs à optimiser l'utilisation de leur espace de travail physique dans des zones spécifiques de l'environnement virtuel, zones qui pour ces techniques sont prédéfinies par le concepteur d’applications. Ces techniques sont adaptées aux systèmes de RV dont les espaces de travail ont une forme et une taille bien déterminées, comme par exemple avec des systèmes de type CAVE. Ensuite, j'ai proposé deux solutions plus génériques, qui peuvent s'appliquer à une gamme des systèmes plus large, y compris les HMDs, pour lesquels l'espace de travail physique n’est pas forcément connu a priori. A la différence des techniques précédentes, elles permettent aux utilisateurs de positionner leur espace de travail physique dans l'environnement virtuel. Par ailleurs, j'ai aussi exploré comment rétablir la cohérence spatiale en alignant la position d'un objet du monde réel avec sa contrepartie virtuelle lors de la téléportation, afin de permettre une interaction tangible. Enfin, j'ai conçu et évalué deux stratégies permettant à des paires d'utilisateurs de gérer et de rétablir la consistance spatiale lors d'interactions co-localisées dans le cadre de tâches collaboratives complexes.

A number of virtual reality (VR) applications rely on a one-to-one mapping of the user's position between real and virtual environments. This spatial consistency is mandatory for maximizing the virtual workspace accessible by physical movements in the real world. It is also required for tangible interaction and co-located interaction in complex collaborative tasks. However, the user's individual navigation may disrupt the spatial consistency. To prevent this issue, navigation in large-scale virtual environments is usually excluded, and use-case scenarios are divided into a set of virtual experiences. The research focus of this Ph.D. thesis is to allow users to explore a large-scale virtual environment and recover spatial consistency in some appropriate areas of the virtual environment when necessary to complete the task. The main contribution is a general solution to recover spatial consistency for teleportation. This navigation technique is one of the most commonly used in VR applications, and it has been shown that its instant transition displacement principle reduces simulator sickness. My dissertation explores different techniques to recover spatial consistency in several VR systems (CAVE vs. HMD) and interactive contexts (individual interaction, tangible situation, and co-localized collaboration). It also presents experimental results that validate these techniques. First, I studied two interactive techniques that can help users to maximize the use of their physical workspace within specific areas of the virtual environment predefined by application designers. These techniques are suitable for virtual reality systems with previously known shapes and sizes, such as CAVE-like systems. Then, I proposed two more generic solutions for a wider range of VR systems, including HMDs. Conversely to the prior approach, these solutions allow users to position their physical workspace in the virtual environment. Next, I investigated how to recover the spatial consistency by aligning the position of a real-world object with its virtual counterpart during teleportation, in order to allow a tangible interaction with this object. Finally, I designed two strategies to allow pairs of users to manage and recover the spatial consistency for co-located interaction in complex collaborative tasks.