Conception et réalisation de plates-formes de simulation multisensorielle interactive. -L'intéraction instrumentale et les réalités virtuelles

Design of interactive simulators for multimodal simulation -instrumental interaction and virtual reality

• Auteur / Autrice : Julien Castet
• Direction : Jean-Loup Florens
• Type : Thèse de doctorat
• Discipline(s) : Ingénierie de l'interaction, de la cognition, de l'apprentissage et de la création
• Date : Soutenance en 2010
• Etablissement(s) : Grenoble
• Ecole(s) doctorale(s) : École doctorale ingénierie pour la santé, la cognition, l'environnement (Grenoble ; 1995-....)

Mots clés

Mots clés contrôlés

Toucher

Réalité virtuelle

Résumé

On assiste à un élargissement des domaines d'usage des Réalités Virtuelles. Ce phénomène se fonde sur l'évolution des technologies informatiques et passe par l'intégration de nouvelles interfaces qui s'adressent au geste. Les dispositifs à retour d'effort comptent parmi ces nouvelles interfaces et leur utilisation constitue une avancée significative pour l'efficacité globale des outils en reproduisant de façon plus complète les conditions de manipulation et d'interaction entre l'homme et l'objet virtuel. Dans le cadre de simulateur RV modulaires et génériques, la mise en œuvre des traitements informatiques associées à ces interfaces entraine de sérieux problèmes technologiques. En effet, les algorithmes de calcul et le matériel qui supporte ces algorithmes sont alors soumis à des contraintes temporelles dures, inhabituelles pour les spécifications des architectures informatiques courantes. Pour ce travail de thèse, il s'agit de créer entre l'homme et l'instrument virtuel des conditions favorables à l'émergence de phénomènes physiques et à l'intégration de schémas cognitifs comparables à ceux qui entrent en jeu lors de la pratique experte d'un instrument. Pour cela, cette architecture de simulation temps réel est basée sur la simulation synchrone d'objets physiques. Pour supporter l'interaction dans un environnement 3D, il a été nécessaire de repousser les limites intrinsèques à la cohabitation de calculs à hautes fréquences pour l'interface gestuelle et de calculs complexes pour le rendu graphique. Le simulateur a donc été conçu sur une architecture multiprocesseur non homogène à mémoire partagée qui fonctionne en multifréquence.

Over the years, Virtual Rea lit y researches have broadened their field of application. This phenomenon is mainly due to the evolution of computer technologies, and to the integration of news interfaces into computer architectures. Haptic devices belong to this category of interfaces, which allow to create a mechanical coupling between the user and the virtual object, and also address the gestural fonctions: perception and action. Today, the integration of these devices in the VR solutions remains a critical problem, especially to implement the haptic treatment into the computation of 3D scene. Ln front of this problem, the asynchronous approach is the main solution used, since it allows to decouple visual and haptic computation. This method maintains a coherence between visual feedback and haptic feedback, but in the context of gesture learning, the asynchronous functionnement doesn't guarantee the permanence of the physical properties perceived from the virtual environnment. Ln this condition, the acquisition of gesture dexterity appears compromised. My thesis consists in the conception and realization of a synchronous multimodal simulation architecture. The particularity of this work is its « hard real-time » approach which allows to ensure computation determinism througl external clock. Also, this simulator is conceived to be a pertinent tool for gesture learning like in instrumental art creation.