Classification multilabels à partir de signaux EEG d'imaginations motrices combinées : application au contrôle 3D d'un bras robotique

Multilabel classification of EEG-based combined motor imageries implemented for the 3D control of a robotic arm

• Auteur / Autrice : Cecilia Lindig León
• Direction : Axel Hutt
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/01/2017
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : François Charpillet
• Jury : Examinateurs / Examinatrices : Axel Hutt, Benjamin Blankertz, Ricardo Chavarriaga, Laurent Bougrain, Fabien Lotte
• Jury : Rapporteurs / Rapporteuses : Benjamin Blankertz, Ricardo Chavarriaga

Mots clés

Mots clés contrôlés

Géométrie de Riemann

Analyse multivariée

Robots -- Systèmes de commande

Aire motrice

Électroencéphalographie

Interfaces neuronales directes

Mots clés libres

Interfaces cerveau-Ordinateur

EEG

Imagination motrice

Contrôle robotique

Classification multilabels

Common spatial pattern

Géométrie Riemanienne

Brain-Computer interfaces

EEG

Motor imagery

Robotics control

Multilabel approach

Common Spatial Pattern

Riemannian geometry

Résumé

Les interfaces cerveau-ordinateur (ou BCI en anglais pour Brain-Computer Interfaces) mettent en place depuis le système nerveux central un circuit artificiel secondaire qui remplace l’utilisation des nerfs périphériques, permettant entre autres à des personnes ayant une déficience motrice grave d’interagir, uniquement à l’aide de leur activité cérébrale, avec différents types d’applications, tels qu’un système d’écriture, une neuro-prothèse, un fauteuil roulant motorisé ou un bras robotique. Une technique répandue au sein des BCI pour enregistrer l’activité cérébrale est l’électroencéphalographie (EEG), étant donné que contrairement à d’autres techniques d’imagerie, elle est non invasif et peu coûteuse. En outre, l’imagination motrice (MI), c’est-à-dire les oscillations des neurones du cortex moteur générées lorsque les sujets imaginent effectuer un mouvement sans réellement l’accomplir, est appropriée car détectable dans l’EEG et liée à l’activité motrice pour concevoir des interfaces comme des neuro-prothèses non assujetties à des stimuli. Cependant, même si des progrès importants ont été réalisés au cours des dernières années, un contrôle 3D complet reste un objectif à atteindre. Afin d’explorer de nouvelles solutions pour surmonter les limitations existantes, nous présentons une approche multiclasses qui considère la détection des imaginations motrices combinées. Le paradigme proposé comprend l’utilisation de la main gauche, de la main droite, et des deux pieds ensemble. Ainsi, par combinaison, huit commandes peuvent être fournies pour diriger un bras robotisé comprenant quatorze mouvements différents qui offrent un contrôle 3D complet. À cette fin, un système de commutation entre trois modes (déplacement du bras, du poignet ou des doigts) a été conçu et permet de gérer les différentes actions en utilisant une même commande. Ce système a été mis en oeuvre sur la plate-forme OpenViBE. En outre, pour l’extraction de caractéristiques une nouvelle approche de traitement d’information fournie par les capteurs a été développée sur la base de l’emplacement spécifique des sources d’activité liées aux parties du corps considérées. Cette approche permet de regrouper au sein d’une seule classe les différentes actions pour lesquelles le même membre est engagé, d’une manière que la tâche multiclasses originale se transforme en un problème équivalent impliquant une série de modèles de classification binaires. Cette approche permet d’utiliser l’algorithme de Common Spatial pattern (CSP) dont la capacité à discriminer des rythmes sensorimoteurs a été largement montrée mais qui présente l’inconvénient d’être applicable uniquement pour différencier deux classes. Nous avons donc également contribué à une nouvelle stratégie qui combine un ensemble de CSP et la géométrie riemannienne. Ainsi des caractéristiques plus discriminantes peuvent être obtenues comme les distances séparant les données des centres des classes considérées. Ces stratégies ont été appliquées sur trois nouvelles approches de classification qui ont été comparées à des méthodes de discrimination multiclasses classiques en utilisant les signaux EEG d’un groupe de sujets sains naïfs, montrant ainsi que les alternatives proposées permettent non seulement d’améliorer l’existant, mais aussi de réduire la complexité de la classification

Brain-Computer Interfaces (BCIs) replace the natural nervous system outputs by artificial ones that do not require the use of peripheral nerves, allowing people with severe motor impairments to interact, only by using their brain activity, with different types of applications, such as spellers, neuroprostheses, wheelchairs, or among others robotics devices. A very popular technique to record signals for BCI implementation purposes consists of electroencephalography (EEG), since in contrast with other alternatives, it is noninvasive and inexpensive. In addition, due to the potentiality of Motor Imagery (MI, i.e., brain oscillations that are generated when subjects imagine themselves performing a movement without actually accomplishing it) to generate suitable patterns for scheming self-paced paradigms, such combination has become a common solution for BCI neuroprostheses design. However, even though important progress has been made in the last years, full 3D control is an unaccomplished objective. In order to explore new solutions for overcoming the existing limitations, we present a multiclass approach that considers the detection of combined motor imageries, (i.e., two or more body parts used at the same time). The proposed paradigm includes the use of the left hand, right hand, and both feet together, from which eight commands are provided to direct a robotic arm comprising fourteen different movements that afford a full 3D control. To this end, an innovative switching-mode scheme that allows managing different actions by using the same command was designed and implemented on the OpenViBE platform. Furthermore, for feature extraction a novel signal processing scheme has been developed based on the specific location of the activity sources that are related to the considered body parts. This insight allows grouping together within a single class those conditions for which the same limb is engaged, in a manner that the original multiclass task is transformed into an equivalent problem involving a series of binary classification models. Such approach allows using the Common Spatial Pattern (CSP) algorithm; which has been shown to be powerful at discriminating sensorimotor rhythms, but has the drawback of being suitable only to differentiate between two classes. Based on this perspective we also have contributed with a new strategy that combines together the CSP algorithm and Riemannian geometry. In which the CSP projected trials are mapped into the Riemannian manifold, from where more discriminative features can be obtained as the distances separating the input data from the considered class means. These strategies were applied on three new classification approaches that have been compared to classical multiclass methods by using the EEG signals from a group of naive healthy subjects, showing that the proposed alternatives not only outperform the existing schema, but also reduce the complexity of the classification task