Co-localisation des retours visuels et haptiques en réalité virtuelle

Co-location of visual and haptic feedback in virtual reality

• Auteur / Autrice : Justine Saint-Aubert
• Direction : Stéphane Régnier, Sinan D. Haliyo
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 20/09/2019
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Alexis Paljic
• Jury : Examinateurs / Examinatrices : Gilles Bailly
• Jury : Rapporteur / Rapporteuse : Betty Lemaire-Semail, Anatole Lécuyer

Mots clés

Mots clés contrôlés

Vision par ordinateur

Interfaces utilisateur (informatique)

Réalité virtuelle

Interaction multimodale

Mots clés libres

Réalité virtuelle

Multi-modalité

Co-localisation

Haptique

Interfaces à câbles

Simulation de forme

Co-location

Haptic

Virtual reality

Résumé

La réalité virtuelle offre à un utilisateur la possibilité d'interagir avec des environnements très diversifiés. Elle possède ainsi un fort potentiel dans le domaine de la recherche, du médical ou encore de l'industrie. La majorité des applications nécessite de manipuler des objets virtuels, un retour visuel et haptique sont donc transmis à l'utilisateur au travers d'interfaces afin de l'aider à opérer. Dans l'état actuel des développements, il subsiste néanmoins une incohérence dans le couplage des deux interfaces qui affecte potentiellement la qualité de l'interaction. En effet, le retour visuel est généralement affiché en face de l'utilisateur alors que le retour haptique est transmis au niveau de sa main. La configuration dite délocalisée est simple à implémenter mais implique une incongruence spatiale entre les deux stimuli. A l'inverse, une configuration dans laquelle les retours visuels et haptiques sont co-localisés est plus réaliste mais plus complexe à mettre en place. La thèse traite des différences engendrées par les deux configurations afin de mieux comprendre les mécanismes impliqués. Elle est divisée en trois parties : la conception d'une interface co-localisée afin de servir comme outil d'étude, la comparaison des performances utilisateurs au cours d'opérations élémentaires, la comparaison de l'intégration des stimuli. Une interface de bureau dans laquelle les retours visuels et haptiques sont co-localisés est développée. A cet effet, une nouvelle architecture de dispositif haptique à câbles est proposée et intégrée dans un système d'affichage écran/miroir. Le mécanisme est redondant et une stratégie de commande par variation de raideur des câbles est donc avancée et testée afin d'améliorer la transparence du dispositif. Une expérience utilisateur est par la suite menée dans l'interface et l'efficacité de 36 participants à opérer en configurations co-localisée et délocalisées est ainsi évaluée. Une exécution plus rapide, plus précise et une plus grande stabilité dans les efforts de contact est démontrée en configuration co-localisée. De plus, la différence de stabilité est observée selon le type de délocalisation. Afin de mieux caractériser les différences entres les configurations, une expérience utilisateur est finalement réalisée sur l'intégration des stimuli. Les poids du retour visuel, proprioceptif et tactile dans le processus de perception sont relevés en configurations co-localisée et délocalisée. Ils varient selon la configuration, les participants et la nature du stimulus haptique.

Virtual reality provides the ability to interact with a large variety of environments and represents a strong potential in research, medical or industry. Many applications require the manipulation of virtual objects. Visual and haptic feedback are used through different hardware interfaces to help the user to operate dexterously. As development currently stands, there is however an inconsistency in the coupling of the two feedbacks, affecting the quality of interaction. The visual feedback is usually displayed in front of the user while the haptic feedback is transmitted to his hand holding a remote controller. This so-called “delocated” configuration is simple to implement but introduces a spatial incongruence between the two stimuli. On the contrary, a configuration in which the visual and haptic feedback are “co-located”, where the user touches where he sees, is more realistic but technically more tedious to implement. The thesis deals with the differences generated by the two configurations, delocated vs co-located, in order to better understand the mechanisms involved. It is presented in three parts : the design of a co-located interface to experiment and evaluate different configurations : the comparison of user performance during basic operations, the comparison of integration of stimuli. A desktop interface with co-located visio-haptic feedback is developed. For this purpose, a novel haptic device with cable architecture is proposed and fitted with a mirrored screen display. The mechanism being redundant, a control strategy including slacking cables is then proposed and tested in order to enhance the transparency of the device. A user-centered experiment is then conducted and performances of 36 participants to operate in co-located and delocated configurations are evaluated. Faster, better accuracy and greater stability of contact forces are exposed in co-located configuration. Additionally, a difference in stability is observed according to the type of delocation. In order to get a better insight of the difference between configurations, an user-centered experiment is lastly conducted on the integration of stimuli. The weights of visual, proprioceptive and tactile feedback in the perceptual process are inferred in co-located and delocated configurations. A variation depending on the spatial configuration, the nature of haptic stimulus is demonstrated, as well as a significant performances differences between users.