Navigation intelligente dans des environnements virtuels

Intelligent navigation in virtual environments

• Auteur / Autrice : Yuyang Wang
• Direction : Frédéric Merienne, Jean-Rémy Chardonnet
• Type : Thèse de doctorat
• Discipline(s) : Informatique-traitement du signal (AM)
• Date : Soutenance le 14/10/2021
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris)
• Partenaire(s) de recherche : Laboratoire : LISPEN - LISPEN
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure d'arts et métiers (1780-....)
• Jury : Président / Présidente : Daniel Mestre
• Jury : Examinateurs / Examinatrices : Frédéric Merienne, Jean-Rémy Chardonnet, Antonio Capobianco, Ronan Querrec
• Jury : Rapporteur / Rapporteuse : Antonio Capobianco

Mots clés

Mots clés contrôlés

Traitement du signal

Réalité virtuelle distribuée

Thèses et écrits académiques

Navigation

Mots clés libres

Navigation

Réalité virtuelle

Optimisation

Navigation

Virtual reality

Optimization

Résumé

La réalité virtuelle (VR) connaît un développement rapide grâce aux technologies de jeux vidéo 3D et de casques immersifs abordables, permettant d'interagir plus facilement avec des environnements virtuels. Au cours du processus d'interaction, l'utilisateur est au centre de l'application et, par conséquent, il est primordial de comprendre les facteurs humains affectant l'expérience et la satisfaction de l'utilisateur. Ces facteurs sont cruciaux pour concevoir une navigation virtuelle aussi naturelle que ce que les utilisateurs font généralement inconsciemment dans le monde réel.Cependant, les techniques de navigation dans les environnements virtuels peuvent être exigeantes sur le plan cognitif et induire un cybermalaise, conduisant au rejet des technologies de réalité virtuelle. Divers factors humains peuvent influencer l'expérience utilisateur, en particulier le niveau de cybermalaise pendant l'immersion en réalité virtuelle. Comme ces effets sont individuellement différents, son évaluation correcte est un préalable à la conception de différentes techniques de navigation. Pour utiliser ces différences individuelles et adapter la dynamique de navigation, nous avons introduit un modèle de logique floue pour analyser les caractéristiques humaines liées à l'apparition du cybermalaise et déterminer un indice personnalisé de cybermalaise. En plus des approches d'évaluation actuelles, nous avons démontré comment mesurer le cybermalaise et la charge cognitive en utilisant le deep learning (autoencodeur LSTM) et TOPSIS. La méthode d'évaluation proposée peut être considérée comme une amélioration des approches d'évaluation actuelles. Les résultats suggèrent que le deep learning représente une alternative innovante intéressante pour mesurer le cybermalaise en se basant sur des mesures comportementales comme la balance posturale, et que TOPSIS peut améliorer la précision de mesure de la charge cognitive.Les progrès réalisés pour accroître le potentiel de la réalité virtuelle reposent également sur notre capacité à développer des techniques de navigation qui peuvent atténuer le cybermalaise de manière efficace. Nous avons introduit la navigation adaptative dans le sens de la personnalisation et conçu quatre techniques différentes et originales de navigation tenant compte de différents facteurs humains. Dans un premier temps, nous avons proposé une navigation semi-automatique pour lisser les trajectoires de navigation lors des déplacements de l'utilisateur. Deuxièmement, connaissant l'importance des profils de vitesse de navigation sur l'expérience utilisateur, nous avons conçu un limiteur de vitesse capable de minimiser le jerk total lorsque l'utilisateur navigue dans des environnements virtuels. Troisièmement, le modèle de logique floue introduit pour déterminer un indice personnalisé de cybermalaise a été utilisé pour proposer une dynamique de navigation personnalisée. Enfin, sur la base de la théorie du contrôle PID et des réseaux de neurones, nous avons conçu une stratégie adaptative en ligne pour adapter la vitesse de navigation sur la base de l'état physiologique. Pour chaque technique de navigation, des expérimentations ont été réalisées pour valider leurs performances dans l'amélioration de l'expérience utilisateur, et les résultats montrent une réduction significative du niveau de cybermalaise.

Virtual reality (VR) has experienced fast development thanks to technologies from 3D computer games and affordable head-mounted devices (HMDs), making it possible to interact with virtual environments more easily. During the interaction process, the user is at the center of the application, and therefore, it is paramount to understand the human-related factors affecting user experience and satisfaction. These factors are crucial for designing virtual navigation as natural as users usually conduct subconsciously in the physical world.However, navigation techniques in virtual environments might be cognitively demanding and induce cybersickness, leading to the rejection of VR technologies. Various human-related factors can influence user experience, especially the level of cybersickness during immersion in VR applications. As these effects are individually different, its correct evaluation is a premise for designing different navigation techniques. To use these individual differences for adapting the navigation dynamics, we successfully introduced a fuzzy logic model to analyze human characteristics related to cybersickness and output a personalized cybersickness indicator. On top of the current evaluation approaches, we demonstrated how to measure cybersickness and cognitive workload based on deep learning (LSTM autoencoder) and TOPSIS. The proposed evaluation method can be regarded as an improvement for the current evaluation approaches. The results suggest that deep learning represents an interesting innovative alternative to measure cybersickness based on behavioral assets such as posture sway, and TOPSIS can improve the measuring accuracy for the cognitive workload.The progress in unlocking the potential of VR also relies on our ability to develop navigation techniques that can mitigate cybersickness efficiently. We introduced adaptive navigation in the sense of personalization and designed four different original navigation techniques considering human-related factors. First, we proposed semiautomatic navigation to smoothen navigation trajectories during user displacement. Second, knowing the importance of navigation speed profiles on user experience, we designed a speed protector that can minimize the total jerk when the user navigates in virtual environments. Third, the fuzzy logic model introduced to compute a personalized cybersickness indicator was used to propose personalized navigation dynamics. Last, based on the PID control theory and neural networks, we designed an online adaptive strategy to adapt the navigation speed based on physiological assets. For each navigation technique, user experiments were performed to validate its performance in improving user experience, and the results manifest a significant reduction of cybersickness severity.