Contribution à l'étude de l'utilisation des interfaces cerveau-ordinateur en réalité virtuelle ou augmentée

Contribution to the study of the use of brain-computer interfaces in virtual and augmented reality

• Auteur / Autrice : Jonathan Mercier
• Direction : Anatole Lécuyer
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/10/2015
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - 3D interaction with virtual environments using body and mind
• Partenaire(s) de recherche : : Université européenne de Bretagne (2007-2016)
• Jury : Président / Présidente : Bruno Arnaldi
• Jury : Examinateurs / Examinatrices : Anatole Lécuyer, Bruno Arnaldi, Indira Thouvenin, Martin Hachet, Guillaume Moreau, Maud Marchal
• Jury : Rapporteurs / Rapporteuses : Indira Thouvenin, Martin Hachet

Mots clés

Mots clés contrôlés

Interfaces utilisateur (informatique)

Réalité virtuelle

Réalité augmentée

Mots clés libres

Interfaces Cerveau-Ordinateur

Brain-Computer Interfaces

Virtual reality

Augmented reality

User interfaces (Computer systems)

Résumé

L’objectif de cette thèse est d’étudier l’utilisation d’Interfaces Cerveau-Ordinateur (ICOs) au sein de la Réalité Virtuelle (RV) et de la Réalité Augmentée (RA). Notre but est d’évaluer la compatibilité entre les systèmes basés sur une ICO et la RV/RA, de concevoir de nouveaux outils pour la visualisation de l’activité cérébrale basée sur la RV/RA, et finalement de proposer de nouveaux usages pour les ICOs, plus particulièrement en combinaison avec des vêtements intelligents. Afin de réaliser ces objectifs, nous avons tout d’abord réalisé une étude de faisabilité concernant l’association entre une ICO et la RV. Notre objectif était d’étudier l’influence de l’activité motrice sur une ICO. Nous avons conçu un système similaire à un jeu vidéo, servant comme support à une étude utilisateur montrant que l’ICO peut être utilisée avec succès, même lorsque les participants exécutent une activité musculaire exigeante. Dans un second temps, nous avons également proposé des outils de visualisation de l’activité cérébrale basés sur la RV/RA. Notre premier système nommé «Mind-Mirror» superpose un cerveau virtuel représentant l’activité cérébrale d’un utilisateur à l’image de celui-ci dans un miroir. Une étude utilisateur a montré qu’aucune perte significative de performance de l’ICO n’a été constatée, même avec une complexité additionnelle due à l’affichage basé sur la RA. Notre seconde contribution se nomme «Mind-Window» et étend les possibilités du Mind-Mirror en permettant plusieurs points de vue sur un même enregistrement d’activité cérébrale en utilisant des tablettes. Notre dernière contribution se nomme «Mind-Inside» et permet aux utilisateurs de visualiser en RV leur activité cérébrale en temps réel tout en étant immergés dans un cerveau virtuel. Enfin, nous avons étudié comment les ICOs et la RV/RA peuvent être appliquées au domaine des vêtements intelligents. Nous avons mis en place une plateforme d’expérimentation consistant en une cabine d’essayage virtuelle intégrant une ICO et permettant aux utilisateurs de porter des vêtements intelligents virtuels en RA. Poursuivant ces travaux, nous avons également conçu une «cape d’invisibilité» inspirée par l’univers de Harry Potter. Cette cape virtuelle permet aux utilisateurs de se camoufler en RA en utilisant leur état mental. Une étude utilisateur sur le contrôle de l’effet a mis en avant l’amélioration de l’expérience utilisateur et «l’impression d’avoir un superpouvoir».

The objective of this PhD thesis is to study the use of Brain- Computer Interfaces (BCIs) within Virtual Reality (VR) and Augmented Reality (AR). Our goal is to evaluate the compatibility between systems based on a BCI and VR/AR, to design new tools for the visualization of the brain activity based on VR/AR, and finally to propose new uses for the BCIs, and especially in combination with smart clothes. In order to fulfil these objectives, we have first designed and performed a feasibility study concerning the combination of a BCI and VR. Our objective was to study the influence of motor activity on a BCI. We have designed a system similar to a video game, serving as a base for a user study showing that this BCI can be successfully used, even when participants are performing a demanding muscular activity. We have also proposed three visualization tools for the brain activity based on VR/AR. Our first system called the «Mind- Mirror» which enables the visualization of our own brain activity «inside our own head» by superimposition. A user study has shown that no significant drop in BCI performance occurred, even with the additional complexity due to our AR-based display. Our second contribution is called «Mind- Window» and extends the Mind-Mirror’s possibilities by enabling one or multiple users to visualize the brain activity of another person as if her skull was transparent. Our last contribution is called «Mind-Inside» and allows users to visualize their brain activity in real-time while being immersed in a virtual brain. Finally, we have studied how BCIs and the VR/AR can be applied to smart clothes. We have designed an experimental platform comprising a dressing room integrating a BCI. Following this work, we proposed an «invisibility cloak» inspired by the Harry Potter universe. This virtual cloak allows users to camouflage themselves in AR using their mental state. Results from a preliminary study based on a simple videogame inspired by the Harry Potter universe could notably show that, compared to a standard control made with a keyboard, controlling the optical camouflage directly with the BCI could enhance the user experience and the feeling of «having a super-power».