Filtrage somesthésique pour des interfaces cerveau-ordinateur utilisant des stimulations vibro-tactiles

Somatosensory gating for brain-computer interfaces using vibro-tactile stimulations

• Auteur / Autrice : Jimmy Petit
• Direction : François Cabestaing, José Rouillard
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et des images
• Date : Soutenance le 06/12/2022
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : Ecole doctorale Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Centre de Recherche en Informatique, Signal et Automatique de Lille
• Jury : Président / Présidente : Arnaud Delval
• Jury : Examinateurs / Examinatrices : Andrea Kübler
• Jury : Rapporteurs / Rapporteuses : Fabien Lotte, Ouriel Grynszpan

Mots clés

Mots clés contrôlés

Stimulation sensorielle

Interaction humain-machine

Filtrage sensoriel

Traitement du signal

Somesthésie

Potentiels évoqués (électrophysiologie)

Interfaces neuronales directes

Mots clés libres

Imagerie motrice

Brain-Computer Interface

Somatosensory-Evoked Potential

Signal Processing

Somatosensory Gating

Human-Computer Interaction

Résumé

Une interface cerveau-ordinateur (ICO) est un système visant à différencier différents états mentaux d'un utilisateur pour les traduire en commandes transmises à un dispositif externe. Une catégorie d'ICO, appelée ICO réactive, utilise les réponses automatiques du cerveau provenant d'une stimulation sensorielle de l'utilisateur pour différencier plusieurs états mentaux. Un potentiel évoqué est la manifestation sous la forme d'une variation du potentiel électrique de la réponse du cerveau. Notre travail se concentre sur les potentiels évoqués apparaissant dans le cortex somatosensoriel, aussi appelé cortex somesthésique.Il s'agit d'un composant du système somatosensoriel, c'est-à-dire le réseau de structures neuronales qui permet la perception des sensations liées à la peau et à la proprioception. Une action mécanique appliquée sur la peau évoque une réponse cérébrale spécifique dans le cortex somesthésique primaire controlatéral à la stimulation. L'électroencéphalographie (EEG) de surface permet de mesurer cette réponse en produisant ce que l'on appelle un potentiel évoqué somesthésique (PES). Lorsque l'action mécanique est périodique et maintenue, comme c'est le cas lors d'une vibration, le PES est également périodique avec la même fréquence, il est alors appelé PES stationnaire (PESS).Dans cette thèse, nous étudions un nouveau marqueur basé sur le filtrage somesthésique du cortex. Le filtrage somesthésique est la capacité du cortex à filtrer les stimuli non pertinents ou répétitifs reçus par le système somatosensoriel, dans notre cas, issus des récepteurs mécaniques de la peau. Le filtrage somesthésique est une forme spécifique du filtrage sensoriel qui est plus général. Ce phénomène de filtrage sensoriel existe aussi avec la vue ou l'ouie, mais dans ces travaux, nous nous concentrons sur le filtrage somesthésique. Ce dernier a été observé dans la littérature, par exemple, une diminution de l'amplitude d'un PESS provoquée électriquement pendant une tâche d'imagerie motrice (IM).L'architecture des ICOs est souvent décrite comme une boucle. Dans un premier temps, l'utilisateur effectue une tâche mentale censée générer une activité cérébrale spécifique. Son activité cérébrale est alors mesurée continuellement par un instrument de mesure. Suit une étape de traitement du signal pour extraire les caractéristiques clés de l'activité cérébrale spécifique susmentionnée. Un classificateur identifie l'état mental généré parmi plusieurs modèles d'états mentaux étiquetés. Un retour d'information est enfin fourni à l'utilisateur sur la base des résultats de la classification. Ce dernier permet à l'utilisateur de réagir en conséquence, et la boucle d'interaction recommence. Dans cette thèse, nous étudions chaque étape de cette boucle pour une ICO combinant PESS et IM, ainsi que les caractéristiques des PESSs et les contraintes méthodologiques résultant de leur utilisation. Nous étudions les aspects théoriques du PESS sur des données synthétiques afin d'identifier le traitement du signal adéquat pour notre application. Nous évaluons les aspects humains liés à l'interaction avec notre système. Nous nous concentrons également sur la relation entre la performance de l'ICO et l'utilisabilité ressentie du système ou la charge mentale de l'utilisateur.Enfin, nous souhaitons que notre système soit utilisable par des individus affectés par une déficience motrice lourde, comme les personnes en situation d'enfermement disposant toujours du sens du toucher. L'approche somatosensorielle a été choisie car elle exploite le sens du toucher de l'utilisateur. En outre, contrairement à la focalisation attentionnelle, l'imagerie motrice peut facilement être réalisée avec plusieurs membres à la fois. Cette propriété de l'imagerie motrice nous a conduits à choisir une combinaison liant PESS et IM car elle pourrait augmenter le nombre de commandes disponibles pour notre système ICO.

A brain--computer interface (BCI) is a system aiming at differentiating various mental states of a user to translate them into commands for an external device. A category of BCI named reactive BCIs uses automatic brain responses from sensory stimulation of the user to differentiate between multiple mental states. An evoked potential is the manifestation, as a temporal variation of the electric potential, of the brain response. Our work focuses on evoked potentials from the somatosensory cortex. It is a component of the somatosensory system, which is the neural structure network that permits, among other things, the perception of skin-related sensations. A mechanical action applied on the skin evokes a specific brain response in the somatosensory cortex contralateral to the stimulation. Scalp electroencephalography (EEG) allows for measuring this response yielding a so-called somatosensory-evoked potential (SEP). When the mechanical action is periodic and maintained, which is the case of a vibration, the SEP is also periodic with the same frequency and is called steady-state SEP (SSSEP).Specific mental activities, such as attention focusing, modulate the amplitude and/or phase of the SSSEP. This volitional modulation constitutes a significant marker of mental activity commonly used in a BCI exploiting SSSEP. In this thesis, we study a new marker based on the somatosensory gating capacity of the brain. Somatosensory gating is the capacity of the brain to filter out irrelevant or repetitive stimuli received from the somatosensory system, in our case, the mechanical receptor of the skin. The somatosensory gating is a particular case of sensory gating which is more general. The sensory gating can occur with the sight or the hearing as well, but in our work we focus on the somatosensory gating.The latter phenomenon was reported in the literature. For instance, a decrease in the amplitude of an electrically-evoked SSSEP can be observed during a motor imagery (MI) task.BCIs architectures are often depicted as a loop. In the first step, the user performs a mental task that is supposed to generate a specific brain activity pattern while their brain activity is being monitored. Follows a signal processing step to extract the key characteristics of the aforementioned specific brain activity pattern. A classifier then identifies it among multiple labelled brain activity patterns. Feedback is finally provided to the user based on the classification results. It allows the user to react accordingly and for the loop to start again. In this thesis, we investigate each step of this loop for a BCI combining SSSEP and MI. Indeed, we study the characteristics of SSSEPs and methodological constraints resulting from their usage. We study the theoretical aspects of SSSEPs on synthetic data to identify adequate signal processing for our application. We investigate the human-related aspects of the interaction with our system. We primarily focus on the relationship between the performance of the BCI and the user's perceived usability or mental workload.Finally, we wish for our system to be usable by individuals with heavy motor impairment, such as in a locked-in syndrome state. The somatosensory approach was selected since it exploits the user's sense of touch, which can be viable for some pathology of locked-in individuals. In addition, contrary to attention focusing which can gather information from a single limb at a time, motor imagery could easily be performed with multiple limbs at once. This property of motor imagery leads us to use a combination of SSSEP and MI as it could increase the number of available commands for our BCI system.