Contribution à la compréhension des performances BCI basées sur les tâches mentales à l’aide de modèles computationnels prédictifs

Contribution to the understanding of mental task BCI performances using predictive computational models

• Auteur / Autrice : Camille Benaroch
• Direction : Fabien Lotte, Camille Jeunet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/12/2021
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique - Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux) - Popular interaction with 3d content (France)
• Jury : Président / Présidente : François Cabestaing
• Jury : Examinateurs / Examinatrices : Camille Jeunet, Maryam Alimardani
• Jury : Rapporteurs / Rapporteuses : Moritz Grosse-Wentrup, Nathalie George

Mots clés

Mots clés contrôlés

Apprentissage automatique

Interaction humain-machine

Interfaces utilisateur (informatique)

Mots clés libres

Modélisation Computationnelle

Interface cerveau ordinateur

ElectroEncéphaloGraphie

Traitement de Données

Classification

Neurophysiologie

Entraînement Utilisateur

Brain computer interfaces

Computational modeling

Learning

Neurophysiology

ElectroEncephaloGraphy.

User Training

Résumé

Les interfaces cerveau-ordinateur (ICO) sont des outils de communication et de contrôle qui permettent à leurs utilisateurs d’interagir avec un ordinateur via leur activité cérébrale (mesurée, généralement, à l’aide de l’électroencéphalographie - EEG). Une catégorie prometteuse d’ICO est l’ICO basée sur les tâches mentales (TM). Les TM-ICO utilisent les modifications de l’activité cérébrale induites par les TM effectuées par l’utilisateur (par exemple, l’imagination de mouvements, le calcul mental ou la rotation mentale d’un objet) pour les transformer en commandes de contrôle. Contrôler une TM-ICO nécessite l’acquisition de compétences et donc un entraînement approprié. En effet, l’utilisateur doit générer des signaux cérébraux stables et distincts pour chaque tâche, faute de quoi il ne sera pas en mesure de contrôler le système. En effet, le système ne sera pas en mesure de reconnaître quelle tâche l’utilisateur est en train d’effectuer. Produire de tels signaux cérébraux est une compétence à acquérir et à maîtriser. L’objectif de cette thèse est de contribuer à la compréhension de l’entraînement des utilisateurs d’ICO en réalisant d’abord une étude expérimentale de l’apprentissage. Dans une première partie, nous avons proposé et évalué la conception d’une TM-ICO multi-classes pour entrainer un utilisateur tétraplégique sur le long terme. Nou avons utilisé une nouvelle méthode de classification: les classifieurs riemanniens adaptatifs. Nous avons également observé que notre pilote a appris à améliorer l’ICO en produisant des signaux EEG correspondant de plus en plus à la distribution des données d’entraînement du classificateur, plutôt qu’en améliorant à discriminer ses signaux. Cette étude nous a également permis de constater la difficulté de la mise en place d’un protocole fiable dédié à un entraînement ICO à long terme. La seconde partie de notre travail est consacrée à la compréhension des performances des TM-ICO à l’aide de modèles computationnels prédictifs. Nous avons proposé différents modèles pouvant prédire les performances de différents utilisateurs de ICO au cours de l’entraînement basés sur des caractéristiques liées aux ICO. Comme une ICO est un système de communication entre un utilisateur et une machine, ces caractéristiques sont liés à la fois au profil de l’utilisateur at aux facteurs extraits d’algorithmes utilisés pour construire/calibrer le système. Nos résultats suggèrent qu’il est possible de prédire les performances des utilisateurs d’ICO en utilisant les caractéristiques neurophysiologiques d’un utilisateur, mais aussi les caractéristiques neurophysiologiques combinées à des caractéristiques stables (des traits) de l’utilisateur. De plus, nos études ont révélé que l’étude des caractéristiques extraites des méthodes utilisées pour construire/calibrer le système pourraient être intéressantes pour mieux comprendre pourquoi certains sujets ont des difficultés à contrôler une ICO. En effet, des modèles fiables de performances ont été révélés en utilisant de telles caractéristiques.

Brain computer interfaces (BCIs) are communication and control tools that enable their users to interact with computer by using brain activity alone (which is measured, most of the time, using electroencephalography - EEG). A prominent type of BCI is mental task (MT) based BCIs, that translate modifications in brain activity induced by MTs performed by the user (e.g., imagination of movements, mental calculation or mental rotation of an object among others) into control commands for a computer. Using an MT-BCI requires dedicated training. Indeed, the user has to generate stable and distinct brain signals for each task otherwise they will not be able to control the system. Indeed, the system will not be able to recognize which task the user is performing. Producing such brain signals is a skill to be acquired and mastered and the more the user practices the better he/she will get at it. The objective of my PhD project is to contribute to the understanding of BCI user training by first doing an experimental study of learning by participating in the CYBATHLON competition. We proposed and evaluated the design of a multi-class MT-based BCI for longitudinal training of a tetraplegic user with a newly designed machine learning pipeline based on adaptive Riemannian classifiers. Using a newly proposed BCI user learning metric, we could show that our user learned to improve his BCI control by producing EEG signals matching increasingly more the BCI classifier training data distribution, rather than by improving his EEG class discrimination. In addition, this study revealed the difficulty of setting up a reliable protocol dedicated to a long term BCI training. The second part of this work is dedicated to the understanding of MT-BCI performances using predictive computational models. We proposed various computational models of BCI user training that could predict the performances of various BCI users over training time, based on BCI systems component. As a BCI is a communication system between a user and a machine such components were related to the user-profile related characteristics but also factors extracted from machine-learning algorithms used to build the system classifier. Our results suggested that is was possible to predict BCI performances using neurophysiological characteristics of a user but also neurophysiological characteristics combined with stable characteristics (i.e., traits) or the user. In addition, our studies revealed that studying features extracted from data-driven methods could be interesting to better understand why some subjects have difficulties controlling a BCI. Indeed, reliable models of BCI performances were revealed using such features.