Interactions multimodales pour la transmission du savoir-faire artisanal en réalité mixte

Multimodal interaction in XR for the transmission of craft know-how

• Auteur / Autrice : Jean Morell
• Direction : Alexis Paljic
• Type : Projet de thèse
• Discipline(s) : Informatique temps réel, robotique et automatique - Paris
• Date : Inscription en doctorat le 06/01/2025
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique
• Partenaire(s) de recherche : Laboratoire : Mathématiques et Systèmes
• Partenaire(s) de recherche : Equipe de recherche : CAOR - Centre de CAO et Robotique
• Partenaire(s) de recherche : établissement opérateur d'inscription : Mines Paris-PSL

Mots clés

Mots clés libres

Réalité virtuelle

Interaction 3D

Formation gestuelle

Incarnation

Repères multisensoriels

Transmission du savoir-faire artisanal

Virtual reality

3D interaction

Gesture training

Embodiment

Multisensory cues

Transmission of craft know-how

Résumé

La réalité virtuelle et augmentée (RVI) est un outil puissant pour l'apprentissage. Son apport a été démontré dans le cas de l'apprentissage de procédures ou de l'assemblage d'objets. Cependant, peu d'approches prennent en compte les interactions fines entre les mains, le corps de l'opérateur et la matière première. Ces interactions sont Ces interactions sont fréquentes dans les métiers de l'artisanat, par exemple lorsque les mains travaillent sur un matériau déformable. L'apprentissage d'une activité manuelle artisanale repose sur un ensemble d'informations sensorielles (haptiques, visuelles, sonores et olfactives). Comment transmettre à un apprenant, par immersion dans la réalité virtuelle ou augmentée, les bons gestes à effectuer pour façonner du verre en fusion, faire de la poterie ou polir des bijoux ? L'objectif de la thèse est double : 1) Explorer et choisir le retour d'information en temps réel le plus approprié pour informer l'utilisateur de son action et lui permettre de l'améliorer. 2) Créer de nouvelles techniques haptiques passives qui transmettent des informations tactiles et d'effort en l'absence d'un système haptique actif. Le chercheur doctorant mènera des recherches dans le domaine de l'interaction 3D et du XR. Il/elle cherchera de nouveaux moyens d'enseigner des procédures, des tâches et des gestes en utilisant la réalité virtuelle incarnée. La littérature a étudié le rôle des avatars et du point de vue (première personne vs. troisième personne) dans la formation et la présence, l'utilisation d'un environnement de formation virtuel enregistré sur la tâche réelle, et l'utilisation de trajectoires visuelles en 3D pour afficher les gestes. La recherche menée dans le cadre de ce travail postdoctoral étendra ces idées ou proposera de nouvelles approches utilisant le retour d'information multi sensoriel (tactile/haptique) ou les illusions sensori-motrices. Le candidat au doctorat effectuera des recherches pour : - Explorer les moyens d'entraîner les personnes à effectuer des tâches et des gestes complexes en utilisant l'interaction incarnée. - Explorer de nouvelles méthodes de retour d'information pour corriger les postures et donner des recommandations aux opérateurs. - Combiner le retour d'information visuel et les accessoires passifs pour explorer comment fournir des informations haptiques à grain fin sur le contact main-matière.

Virtual and augmented reality (XR) is a powerful tool for learning. Its contribution has been demonstrated in the case of learning procedures, or object assembly. However, few approaches consider the fine interactions between the hands, the operator's body and raw material. These interactions are frequent in craft trades, for example, when hands work on deformable material. Learning a manual craft activity is based on a range of sensory information (haptic, visual, sound, and olfactory). How can we transmit to a learner, through immersion in virtual or augmented reality, the right gestures to perform when shaping molten glass, making pottery, or polishing jewelry? The objective of the thesis is twofold : 1) Explore and choose the most appropriate real-time feedback to provide to inform the user of his action and enable him to improve it. 2) Create novel passive haptics techniques that transmit tactile and effort information in the absence of an active haptic system. The doctoral researcher will conduct research in the field of 3D interaction and XR. She/he will seek novel ways to teach procedures, tasks, and gestures by using embodied XR. The literature has studied the role of avatars and point of view (first person vs. third person) in training and presence, the use of a virtual training environment registered on the actual task, and the use of 3D visual trajectories to display gestures. The research conducted in this postdoctoral work will extend those ideas or propose novel approaches using multi sensory feedback (tactile/haptic) or sensori-motor illusions. The PhD candidate will perform researches to : • Explore ways for training people to perform complex tasks and gestures by using embodied interaction. • Explore novel feedback methods for correcting postures and giving recommendations to operators. • Combine visual feedback and passive props to explore how to provide fine grain haptic information on hand-matter contact.