Conception et Etude de Systèmes Interactifs basées sur les Interfaces Cerveau-Ordinateur et la Réalité Augmentée

Design and Study of Interactive Systems based on Brain- Computer Interfaces and Augmented Reality

• Auteur / Autrice : Hakim Si Mohammed
• Direction : Anatole Lécuyer
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/12/2019
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Equipe de recherche : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique)
• Partenaire(s) de recherche : : Université Bretagne Loire (2016-2019)
• Partenaire(s) de recherche : Laboratoire : INRIA Rennes
• Jury : Président / Présidente : Bruno Arnaldi
• Jury : Examinateurs / Examinatrices : Mark Billinghurst, François Cabestaing, Reinhold Scherer, Tanja Schultz, Ferran Argelaguet Sanz, Géry Casiez
• Jury : Rapporteurs / Rapporteuses : Mark Billinghurst, François Cabestaing

Mots clés

Mots clés contrôlés

Systèmes d'aide à la décision

Réalité augmentée

Interfaces neuronales directes

Mots clés libres

Interfaces Cerveau-Ordinateur (ICO)

Réalité Augmentée (RA)

Systèmes Interactifs

Potentiels Evoqués Visuels Stationnaires (SSVEP)

Potentiels d’Erreurs (ErrP)

Brain-Computer Interfaces (BCI)

Augmented Reality (RA)

Interactive Systems

Steady-State Visual Evoked Potentials (SSVEP)

Error-Related Potentials (ErrP)

Résumé

Les Interfaces Cerveau Ordinateur (ICO) permettent l’interaction à partir de l’activité cérébrale. La Réalité Augmentée (RA) elle, permet d’intégrer des éléments virtuels dans un environnement réel. Dans cette thèse, nous avons cherché à concevoir des systèmes interactifs exploitant des ICO dans des environnements RA, afin de proposer de nouveaux moyens d’interagir avec des éléments réels et virtuels. Dans la première partie de cette thèse, nous avons étudié la possibilité d’extraire différents signaux cérébraux dans un contexte de RA. Nous avons ainsi montré qu’il était possible d’exploiter les Potentiels Evoqués Visuels Stationnaires (SSVEP) en RA. Puis, nous avons montré la possibilité d’extraire des Potentiels d’Erreur des signaux cérébraux, lorsqu’un utilisateur est soumis à des types d’erreurs fréquents en RA. Dans la seconde partie, nous avons approfondi nos recherches sur l’utilisation des SSVEP pour l’interaction en RA. Nous avons notamment proposé HCCA, un nouvel algorithme permettant la reconnaissance asynchrone de réponses SSVEP. Nous avons ensuite étudié la conception d’interfaces de RA, pour des systèmes interactifs, intuitifs performants. Enfin nous avons illustré nos résultats à travers le développement d’un système de domotique utilisant les SSVEP et la RA, qui s’intègre à une plateforme de maison intelligente industrielle.

Brain-Computer Interfaces (BCI) enable interaction directly from brain activity. Augmented Reality (AR) on the other hand, enables the integration of virtual elements in the real world. In this thesis, we aimed at designing interactive systems associating BCIs and AR, to offer new means of hands-free interaction with real and virtual elements. In the first part, we have studied the possibility to extract different BCI paradigms in AR. We have shown that it was possible to use Steady-State Visual Evoked Potentials (SSVEP) in AR. Then, we have studied the possibility to extract Error-Related Potentials (ErrPs) in AR, showing that ErrPs were elicited in users facing errors, often occurring in AR. In the second part, we have deepened our research in the use of SSVEP for direct interaction in AR. We have proposed HCCA, a new algorithm for self-paced detection of SSVEP responses. Then, we have studied the design of AR interfaces, for the development of intuitive and efficient interactive systems. Lastly, we have illustrated our results, through the development of a smart-home system combining SSVEP and AR, which integrates in a commercially available smart-home system.