Modelisation Computationnelle des États et Capacites de l’Utilisateur afin d’Optimiser des Taches d’Entrainement BCI

Computational Modeling of User States and Skills for Optimizing BCI Training Tasks

• Auteur / Autrice : Jelena Mladenovic
• Direction : Fabien Lotte, Jérémie Mattout
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/09/2019
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique - Popular interaction with 3d content (France)
• Jury : Président / Présidente : Pierre-Yves Oudeyer
• Jury : Examinateurs / Examinatrices : Fabien Lotte, Jérémie Mattout, Anne-Marie Brouwer, Reinhold Scherer, Fabrizio De Vico Fallani, Maureen Clerc
• Jury : Rapporteurs / Rapporteuses : Anne-Marie Brouwer, Reinhold Scherer

Mots clés

Mots clés contrôlés

Apprentissage automatique

Interfaces neuronales directes

Interaction humain-machine

Mots clés libres

Interfaces Cerveaux-Ordinateur

État de flow

Inférence Active

Modèles Adaptatifs

Brain-Computer Interfaces

Flow state

Active Inference

Adaptive Models

Résumé

Les Interfaces Cerveaux-Ordinateur (ICO) sont des systèmes qui permettent de manipuler une machine avec sa seule activité cérébrale. Elles sont utilisées pour accomplir des objectifs variés, par exemple afin qu’un amputé puisse manipuler un bras robotique, pour une réhabilitation neuronale en cas d’accident vasculaire cérébral, dans un cadre ludique pour jouer à des jeux vidéo, etc. Une ICO comprend l’acquisition du signal cérébral (le plus souvent par électroencéphalographie, EEG), le décodage et l’interprétation de ce signal, et enfin la production d’un retour sensoriel à l’utilisateur. Ce retour guidera l’utilisateur pour réguler son activité cérébral et apprendre à manipuler la machine. La morphologie du cerveau diffère cependant entre utilisateurs, et les pensées d’un même individu varient au cours du temps. Ces fluctuations rendent les ICO moins performantes, qui sont alors difficiles à utiliser hors des conditions du laboratoire. Nous avons donc besoin d’une machine dynamique, qui puisse s’adapter au cours du temps à son utilisateur. Dans la littérature les approches proposées afin de remédier à ce problème décrivent des machines qui décodent de manière adaptative les signaux EEG, mais ces systèmes ne sont pas assez robustes et ne permettent toujours pas aux ICO d’être utilisées dans la vie quotidienne. L’objectif de cette thèse est d’améliorer les performances et l’utilisabilité des ICO basées sur de l’EEG, en les adaptant de façon innovante aux états et compétences des utilisateurs. Pour ce faire, nous avons premièrement mis en évidence tous les facteurs changeants dans une ICO en définissant trois séquences : 1. Les états psychologiques fluctuants de l’utilisateur qui modifient la signature du signal EEG ; 2. Ce signal qui varie et qui amène la machine à ajuster son décodage ; 3. La tâche qui est présentée à l’utilisateur via le retour sensoriel de la machine, et qui influence à son tour les états psychologiques de l’utilisateur. Nous avons ainsi mis en évidence la possibilité d’adopter un nouvel angle de recherche, en utilisant la tâche adaptative pour diriger les états psychologiques de l’utilisateur et aider ce dernier à manipuler une ICO. Au lieu de seulement adapter le décodage aux signaux cérébraux, nous avons donc considéré l’adaptation de l’interface (via le retour sensoriel produit par la machine) afin d’influencer les signaux et d’en faciliter le décodage. En utilisant des connaissances issues de la psychologie comportementale et des sciences de l’éducation, il est en effet possible de créer des taches et des interfaces qui incitent les utilisateurs à réussir et même à prendre plaisir à utiliser une ICO. Ces différents facteurs, liés à la motivation, participent à produire des signaux plus prédictibles et plus facilement décodables par la machine, augmentant d’autant la performance du système. Nous avons donc formulé une taxonomie des ICO adaptatives en définissant la tâche adaptative comme un nouveau moyen d’améliorer les performances des ICO. Une fois que la taxonomie des ICO adaptatives a été mis en place, nous avons cherché à identifier chez l’utilisateur quel était l’état psychologique optimal qui puisse servire de critère d’optimisation de la tâche. La littérature en psychologie indique que cet état est l’état de flow, un état d’immersion, de contrôle et de plaisir optimal qui incite les gens à se surpasser, quel que soit la tâche, le sexe, la culture ou bien encore l’âge. [...]

Brain-Computer Interfaces (BCIs) are systems that enable a person to manipulate an external device with only brain activity, often using ElectroEncephaloGraphgy (EEG). Although there is great medical potential (communication and mobility assistance, as well as neuro-rehabilitation of those who lost motor functions), BCIs are rarely used outside of laboratories. This is mostly due to users’ variability from their brain morphologies to their changeable psychological states, making it impossible to create one system that works with high success for all. The success of a BCI depends tremendously on the user’s ability to focus to give mental commands, and the machine’s ability to decode such mental commands. Most approaches consist in either designing more intuitive and immersive interfaces to assist the users to focus, or enhancing the machine decoding properties. The latest advances in machine decoding are enabling adaptive machines that try to adjust to the changeable EEG during the BCI task. This thesis is unifying the adaptive machine decoding approaches and the interface design through the creation of adaptive and optimal BCI tasks according to user states and traits. Its purpose is to improve the performance and usability of BCIs and enable their use outside of laboratories. To such end, we first created a taxonomy for adaptive BCIs to account for the various changeable factors of the system. Then, we showed that by adapting the task difficulty we can influence a state of flow, i.e., an optimal state of immersion, control and pleasure. which in turn correlates with BCI performance. Furthermore, we have identified the user traits that can benefit from particular types of task difficulties. This way we have prior knowledge that can guide the task adaptation process, specific to each user trait. As we wish to create a generic adaptation rule that works for all users, we use a probabilistic Bayesian model, called Active Inference used in neuroscience to computationally model brain behavior. When we provide such probabilistic model to the machine, it becomes adaptive in such a way that it mimics brain behavior. That way, we can achieve an automatic co-adaptive BCI and potentially get a step closer into using BCIs in our daily lives.