Implémentation et bénéfices des systèmes d'interaction haute-fidélité : d'un contrôle plus performant à un apprentissage d'objets 3D plus rapide

Implementation and benefits of high fidelity interactive systems : from a more performant control to faster 3D objects learning.

• Auteur / Autrice : Thibault Louis
• Direction : Jocelyne Troccaz, Amélie Rochet-Capellan, François Bérard
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 22/10/2020
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble
• Partenaire(s) de recherche : Equipe de recherche : Equipe de recherche Ingénierie de l'interaction homme-machine (Grenoble ; 1989-....)
• Partenaire(s) de recherche : Projet ANR : An@tomy2020
• Jury : Président / Présidente : Joëlle Thollot
• Jury : Examinateurs / Examinatrices : Patrick Reuter
• Jury : Rapporteurs / Rapporteuses : Maud Marchal, Emmanuel Dubois

Mots clés

Mots clés contrôlés

Réalité virtuelle

Systèmes homme-machine

Data visualisation

Mots clés libres

Representation mentale

Interaction homme machine

3d

Human computer interaction

3d

Mental representation

Résumé

Interagir avec des scènes virtuelles 3D est nécessaire à de nombreuses applications. Parmi elles : la visualisation de données 3D, la conception assistée par ordinateur, les simulateurs d’entraînement ou encore les jeux vidéos. Effectuer cette tâche par l'intermédiaire de systèmes en 2D tels que des ordinateurs de bureau ou des tablettes tactiles peut s’avérer fastidieux. Pour interagir plus efficacement avec des contenus 3D, les systèmes d'interaction haute-fidélité tels que les casques de réalité virtuelle tentent de reproduire les modalités d'interaction dont nous disposons dans le monde réel. Ces systèmes offrent un rendu visuel stéréoscopique couplé à la position de l'utilisateur et un contrôle isomorphe des objets 3D. Cependant, la littérature manque de résultats issus d'expériences rigoureuses montrant leurs bénéfices. L'objectif de cette thèse est double. Nous cherchons d'une part à étoffer la littérature par l'intermédiaire d'études utilisateur contrôlées permettant d'apporter des résultats robustes sur les bénéfices de ces systèmes. D'autre part, nous nous efforçons de fournir les moyens d'implémenter les expériences haute fidélité les plus performantes.Dans ce manuscrit, nous présentons, tout d'abord, un état de l'art des dispositifs haute-fidélité existants et de leurs bénéfices potentiels. Nous introduisons notamment une approche prometteuse appelée appareil à perspective corrigée déplaçable (APCD), que nous avons particulièrement étudiée dans cette thèse.Nous détaillons ensuite deux contributions qui nous ont permis de quantifier les bénéfices des systèmes haute-fidélité. Afin de témoigner du potentiel applicatif de ces systèmes, nous avons étudié leur apport dans la réalisation de deux tâches mettant en jeu des processus cognitifs très différents. La première étude concerne une tâche de positionnement d'objets 3D dans l'espace. Les deux systèmes haute-fidélité que nous avons testés : un APCD et un casque de réalité virtuelle, se sont respectivement montrés 43% et 29% plus efficaces que le statu quo (un bras articulé utilisé avec un écran plat). La seconde étude concerne une tâche d'apprentissage de la forme d'un objet 3D. Pour cette tâche, les deux mêmes systèmes haute-fidélité ont permis d'améliorer de 27% les performances de reconnaissance de l'objet par rapport à un apprentissage via une tablette tactile.Nous présentons ensuite deux contributions apportant des solutions pour faciliter l'implémentation matérielle et logicielle des systèmes d'interaction haute-fidélité.Nous proposons une méthode permettant d'évaluer l'impact de différents paramètres techniques sur le sentiment de présence éprouvée au cours d'une expérience interactive : un sentiment qui témoigne de la fidélité de l'expérience relativement à la réalité simulée. Mettre en jeu cette méthode dans une étude utilisateur nous a permis d'identifier que la stabilité du système de suivi et la fréquence d'affichage sont les paramètres les plus critiques avec l'APCD que nous avons testé.Nous proposons enfin une panoplie de techniques d'interaction permettant l'implémentation d'applications adaptées aux APCD sphériques et à tout autre système fournissant un écran manipulable à deux mains. Les interactions que nous proposons tirent parti du contrôle efficace des rotations de l'appareil et se sont montrées intuitives et efficaces lors d'un test qualitatif dans une application d'apprentissage d'anatomie.

Interacting with 3D virtual scenes is essential for numerous applications. Among others: 3D data visualization, computer assisted design, training simulators and video games. Performing this task through 2D systems like desktop computers or multi-touch tablets can be tedious. To interact more efficiently with 3D contents, high fidelity interactive systems such as virtual reality head-mounted displays try to reproduce the interactive modalities available in real life. Such systems offer a stereoscopic head-coupled rendering and an isomorphic control of 3D objects. However, there is a lack of rigorous studies that showed their benefits in the literature. This thesis has two purposes. We want to enrich the literature through controlled user studies that bring robust results on high fidelity systems' benefits. We also seek to provide the means to implement the most efficient high fidelity experiences.In this manuscript, we start by presenting a state of the art of existing high fidelity devices and their potential benefits. We especially introduce a promising approach called handheld perspective corrected displays (HPCD), that we particularly studied through this thesis.We then present two contributions that allowed us to quantify high fidelity systems benefits. We studied two tasks involving very different cognitive processes in order to attest the variety of applications that could benefit from those systems. The first study concerns a 6D docking task. The two high fidelity systems that we tested, an HPCD and a virtual reality head mounted display, performed respectively 43% and 29% more efficiently than the status quo (an articulated arm used alongside a flat screen). The second study focuses on the task of learning the shape of an unknown 3D object. Regarding this task, the two previously studied high fidelity systems allowed to enhance by 27% the object's recognition performances when compared to the use of a multi-touch tablet.We then present two other contributions that bring solutions to ease both hardware and software implementation of high fidelity systems. We provide a method to evaluate the impact of several technical parameters on the presence felt during an interactive experience, which is a feeling that testifies to the experience’s fidelity with regard to the simulated reality. Using this method in a user study allowed us to identify the fact that, with the tested HPCD, the tracking stability and the rendering frame rate were the most critical parameters concerning presence. We finally suggest a suit of interacting techniques that enable the implementation of applications well suited for spherical HPCD, and any other devices that provide a manipulable screen held with both hands. The proposed interactions take advantage of the efficient control of the device rotations and appeared to be both intuitive and efficient during a qualitative test in an anatomy learning application.