Feedback multisensoriels pour la manipulation d'objets virtuels en réalité augmentée

Multisensory feedback for virtual object manipulation in augmented reality

• Auteur / Autrice : Louis Lafuma
• Direction : Jean-Yves Didier, Olivier Goguel, Guillaume Bouyer
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/02/2025
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Informatique, BioInformatique, Systèmes Complexes (Evry, Essonne)
• Partenaire(s) de recherche : Référent : Université d'Évry-Val-d'Essonne (1991-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Partenaire(s) de recherche : Equipe de recherche : IRA2 : Interactions, Réalité virtuelle & Augmentée, Robotique Ambiante
• Jury : Président / Présidente : Laurent Grisoni
• Jury : Examinateurs / Examinatrices : Ferran Argelaguet Sanz, Thierry Duval, Tifanie Bouchara
• Jury : Rapporteurs / Rapporteuses : Ferran Argelaguet Sanz

Mots clés

Mots clés contrôlés

Rétroaction sensorielle

Conception centrée sur l'utilisateur

Réalité augmentée

Mots clés libres

Réalité augmentée

Feedbacks multisensoriels

Pseudo-Haptique

Techniques d'interaction

Augmented reality

Multisensory feedback

Pseudo-Haptic

Interaction techniques

Résumé

Lorsque l'être humain manipule les objets qui l'entourent, il sollicite les cinq sens que sont la vue, l'ouïe, le toucher, le goût et l'odorat. En réalité augmentée, il peut être confronté à des objets purement virtuels, pouvant stimuler artificiellement la vue et l'ouïe, et ne pouvant pas, par défaut, stimuler les trois autres sens. Ces lacunes dans la façon qu'à l'utilisateur de percevoir les objets virtuels qui l'entourent rendent la manipulation de ceux-ci difficile, il est donc nécessaire de s'assurer que les cinq sens soient correctement stimulés. On appelle feedback le fait de renvoyer un stimuli à l'organisme une fois que celui-ci a agi sur son environnement. Comprendre le fonctionnement du feedback permet de stimuler correctement les sens de l'utilisateur, et ainsi de permettre de rendre la manipulation plus simple. Nous avons donc au cours de cette thèse mis en place un modèle du feedback, permettant de mieux comprendre les différents éléments qui le composent, ainsi que de créer des feedbacks répondant à nos besoins. Nous avons ensuite utilisé notre modèle pour développer différents prototypes ayant pour but de transmettre notamment les propriétés haptiques des objets manipulés. Nous avons approfondi deux de ces prototypes dans le cadre de protocoles expérimentaux. Le premier pour but de vérifier l'impact de la représentation de la main sur la manipulation. Le second a pour but d'étudier si il est possible d'induire une sensation de poids sur un objet virtuel.

When we manipulate the objects around us, we use all five senses: sight, hearing, touch, taste and smell. In augmented reality, we can be confronted with purely virtual objects, artificially stimulating sight and hearing, but not, by default, stimulating the other three senses. These shortcomings in the way the user perceives the virtual objects around him make it difficult to manipulate them, so it is necessary to ensure that all five senses are correctly stimulated. Feedback is the act of sending a stimulus back to the organism once it has acted on its environment. Understanding how feedback works enables the user's senses to be correctly stimulated, thus making manipulation simpler. In the course of this thesis, we therefore set up a feedback model, enabling us to better understand the different elements that make up feedback, and to create feedbacks that meet our needs. We then used our model to develop various prototypes designed to convey the haptic properties of manipulated objects. We further developed two of these prototypes within the framework of experimental protocols. The first was designed to verify the impact of hand representation on manipulation. The second aims to study whether it is possible to induce a sensation of weight on a virtual object.