CA-ICO : co-apprentissage dans les interfaces cerveau - ordinateur

Co-learning in brain-computer interfaces

• Auteur / Autrice : Nataliya Kos'myna
• Direction : Franck Tarpin-Bernard, Franck Tarpin-Bernard
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/10/2015
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (2007-....)
• Jury : Président / Présidente : Bertrand David
• Jury : Examinateurs / Examinatrices : Bertrand Rivet, Jérémie Mattout
• Jury : Rapporteur / Rapporteuse : Robert J.K. Jacob, José Rouillard

Mots clés

Mots clés contrôlés

Interfaces neuronales directes

Mots clés libres

Ico

Visualisation

Protocole d’entraînement

Co-Apprentissage

Bci

Visualization

Training Protocol

Feedback

Résumé

Les Interfaces Cerveau Ordinateur Actives (ICOs) permettent à une personne d'exercer un contrôle direct et volontaire sur un système informatique par interprétation de son activité cérébrale : certains signaux du cerveau sont capturés afin que le système reconnaisse des actions imaginées spécifiques (mouvements, images, concepts). Les ICOs actives et leurs utilisateurs doivent être entrainés. Cet entraînement rend les signaux plus aisés à reconnaître par le système.Cependant, à l'heure actuelle les ICO servent principalement dans un contexte médical pour aider les personnes en situation de handicap (moteur, ou empêchant complètement la communication avec le monde extérieur) et se trouvent rarement en dehors de laboratoires spécialisés.Les ICO ont de nombreuses limitations :• La variabilité dans les signaux: les signaux sont différents d'une personne à l'autre voire même chez un même individu à des moments différents.• Des sessions d'entraînement longues et répétitives: entre dix minutes et deux mois, sont ennuyantes et désengagent les utilisateurs du processus d'apprentissage.• Un feedback limité: les systèmes actuels proposent un feedback unimodal élémentaire qui est inadapté pour les nombreux utilisateurs. la communication est unidirectionnelle dans le sens où le système donne des instructions que l'utilisateur doit exécuter.L'objectif de cette thèse est de proposer des solutions aux problèmes sus décrits afin d'obtenir une architecture consistante qui rendra les ICO plus compatibles avec les applications d'IHM. L'idée principale est l'implantation du co-apprentissage dans la boucle ICO et l'exploration de la manière dont les utilisateurs et le système peuvent mutuellement se donner du feedback dans le but de l'amélioration de l'utilisabilité des ICO.Cette thèse se structure autour de trois innovations portant sur la boucle ICO :• Une architecture générale basée sur les principes des ICO asynchrones et sur l'entraînement incrémental combinés avec une séparation aveugle des sources et un classifieur à distance minimum. Nous évaluerons l'architecture sur une tache de pilotage de drone au long d'un mois et concluons qu'elle est en adéquation avec les besoins d'une utilisation quotidienne ludique.• Une modalité de visualisation plus intuitive pour les résultats de classification ainsi que pour les caractéristiques de distance sur la base d'une projection en coordonnées de Wachspress pour un nombre arbitraire de classes. Nous combinons la visualisation avec un feedback direct des utilisateurs leur permettant d'interactivement changer la marge de classification, le type de distance où encore de trier et de gérer les signaux d'entraînement en temps réel. Nous évaluons cette contribution sur un jeu de tir simple et découvrons qu'il y a une bonne synergie entre la modalité de visualisation et le feedback direct des utilisateurs et qu'une telle combinaison est bien plus agréable à utiliser qu'un entraînement d'ICO standard.• Enfin, nous développons une ICO fonctionnelle à base d'imagerie conceptuelle à l'aide de notre architecture ainsi que de nos systèmes de visualisation et de feedback, ce qui permet une interaction plus agréable au travers de l'imagination de catégories sémantiques et de concepts. Nous démontrons que ce type d'ICO détecte plus aisément les catégories sémantiques éloignées plutôt que les catégories sémantiques proches. Pour terminer, nous créons un nouveau protocole d'entraînement implicite pour les ICO à base d'Imagerie Conceptuelle basé sur l'amorçage sémantique et conceptuel, ce qui permet d'intégrer l'entraînement dans le scénario et l'environnement d'une jeu vidéo sans que l'utilisateur n'en soit conscient. Notre protocole mène à une meilleure immersion et à meilleur sentiment de flot vis à vis du jeu.

Active Brain Computer Interfaces (BCIs) allow people to exert direct voluntary control over a computer system: their brain signals are captured and the system recognizes specific imagined actions (movements, images, concepts). Active BCIs and their users must undergo training. This makes the signals easier to recognize by the system. This acquisition can take from 10 minutes up to 2 months. BCIs can thus be applied to many control and interaction scenarios of our everyday lives, especially in relation to entertainment (Wolpaw et al., 2002).BCIs are mostly used by disabled people in a medical setting and seldom leave the lab. First of all, high-grade equipment is expensive and non-portable. Although there are commercial ventures proposing BCI acquisition equipment to the general public, the quality is still insufficient to build accurate and robust BCIs.BCIs also suffer from numerous limitations:• Variability of the signals: signals different across people or within the same individual at different times.• Long and repetitive training sessions: between 10 minutes up to several months, disengage and bore users.• Limited feedback: simple unimodal feedback ill adapted for many users. Feedback is unidirectional and the user just has to follow instructions.All these issues limit the adoption of BCI, the lack of widespread commercial success and the use of BCI from human computer interaction applications.The objective of the thesis is to propose solutions to the above problems so as to obtain a consistent architecture that will allow BCIs to be better suitable to Human-Computer Interaction (HCI) applications. The idea is to implement co-learning in the BCI loop and to explore how users and system can give feedback to each other in order to improve BCI usability.This thesis is structured around three innovations surrounding the BCI loop:• A general architecture based on asynchronous BCI principles and on incremental training combined with an unsupervised blind-source separation filter and a minimum distance classifier. This architecture allows producing BCIs with minimal training session. We evaluate the architecture on a drone piloting task over a month and find that it is suitable for use in daily recreational applications.• A more intuitive visualization modality for classification outcomes and distance features using Wachspress coordinate projection for an arbitrary number of classes. We combine the visualization with direct feedback mechanism where users can interactively change the classification margin, change the types of features as well as edit the training trials in real-time. We evaluate our contribution on a simple shooter game and find there is a good synergy between our visualization modality and direct user feedback and that the combination is much more enjoyable to users than a standard BCI training.• Finally we develop an operational Conceptual Imagery BCI based on our architecture, visualization and feedback system that allow for more natural interactions through the imagination of sematic categories and concepts. We show that this type of BCI is more effective at detecting distinct semantic categories rather than close ones. Then, we build on this conceptual BCI to propose a smart home control system for healthy and disabled users. Finally we invent a new seamless training protocol for Conceptual Imagery that uses conceptual and semantic priming in order to integrate the training in the narrative and environment of the game without the realization of the user. Our technique leads to better flow and immersion of users in the game. We believe this training protocol can be extended to many tasks outside of games or even of Conceptual Imagery.