Interface neuronale directe pour applications réelles

Brain-Computer Interfaces for real-life applications

• Auteur / Autrice : Arnau Dillen
• Direction : Olivier Romain, Fakhreddine Ghaffari, Kevin De Pauw
• Type : Thèse de doctorat
• Discipline(s) : STIC (Sciences et Technologies de l'Information et de la Communication) - ED EM2PSI
• Date : Soutenance le 19/09/2024
• Etablissement(s) : CY Cergy Paris Université en cotutelle avec Vrije universiteit Brussel (1970-....)
• Ecole(s) doctorale(s) : École doctorale Économie, Management, Mathématiques, Physique et Sciences Informatiques (Cergy-Pontoise, Val d'Oise)
• Partenaire(s) de recherche : Laboratoire : Equipes Traitement de l'Information et Systèmes (Cergy-Pontoise, Val d'Oise ; 2002-....)
• Jury : Examinateurs / Examinatrices : Olivier Romain, Fakhreddine Ghaffari, Kevin De Pauw, Marco Congedo, Simona Crea, Nele Adriaenssens, Greet Van de Perre, Ann Nowé
• Jury : Rapporteurs / Rapporteuses : Marco Congedo, Simona Crea

Mots clés

Mots clés libres

Apprentissage profond

Interface neuronale

Contrôleur robotique

Interaction humain et machine

Robotique centrée sur l'humain

Human-Centered robotics

Brain-Computer Interface

Deep learning

Human-Machine interaction

Robotic controller

Résumé

Depuis la création de l'ordinateur, la conception d'interfaces utilisateur intuitives est cruciale pour la facilité d'utilisation, influencée par l'environnement de déploiement et les utilisateurs cibles. Les interfaces cerveau-ordinateur (BCI) permettent de contrôler des appareils par des signaux neuronaux, promettant une meilleure interaction pour les personnes paralysées. Ce projet propose un logiciel de démonstration pour contrôler un bras robotisé à l'aide d'une BCI. Le système décode les intentions de l'utilisateur à partir des signaux EEG pour exécuter des commandes.Les objectifs scientifiques sont de développer une stratégie de décodage de l'imagerie motrice (IM) en temps réel, concevoir un système de contrôle améliorant l'expérience utilisateur malgré une précision de décodage limitée, et établir une procédure d'évaluation des performances. La littérature montre des problèmes comme le décodage hors ligne et l'absence de procédures d'évaluation standardisées, et note les limites de l'apprentissage profond pour le décodage de l'IM, orientant notre recherche vers des méthodes de machine learning basiques.Initialement, divers pipelines de décodage EEG pour le contrôle de neuroprothèses ont été comparés, trouvant que les modèles common spatial patterns et linear discriminant analysis étaient les plus efficaces. Une étude a montré qu'un dispositif EEG à 64 canaux pouvait être réduit à huit capteurs bien placés sans perte significative de précision, réduisant les coûts des dispositifs EEG à basse densité.Un dispositif d'évaluation pour les systèmes de contrôle BCI a été développé, avec des améliorations itératives des logiciels et la formation des participants. Un système de contrôle de réalité augmentée (RA) intégrant un retour visuel holographique et une approche de contrôle partagée utilisant l'oculométrie pour la sélection des objets et la vision par ordinateur pour la reconstruction spatiale a également été créé.Une étude utilisateur a comparé le système de contrôle BCI à un système basé uniquement sur la poursuite oculaire. Bien que l'oculométrie soit plus performante, l'étude a confirmé la faisabilité de notre système BCI pour des applications réelles avec des améliorations potentielles.Les principales conclusions sont :- Huit capteurs EEG suffisent pour des performances de décodage adéquates, avec une précision passant de 0,67 à 0,65 en passant de 64 à 8 capteurs.- Un système de contrôle partagé avec décodage BCI et intégration de la réalité augmentée améliore l'interface utilisateur. Deux classes d'IM suffisent pour un taux de réussite de 0,83.- Bien que l'oculométrie soit plus performante, les BCI sont utilisables dans le monde réel.- Les appareils EEG commerciaux sont viables pour l'acquisition d'EEG dans un système de contrôle BCI. Tous les participants utilisant l'appareil EEG commercial ont réussi les tâches d'évaluation, réduisant ainsi les coûts.Nous recommandons que les recherches futures intègrent des méthodes de décodage EEG avancées comme l'apprentissage profond, l'apprentissage par transfert et l'apprentissage continu. La ludification de la procédure d'étalonnage pourrait améliorer les données de formation et rendre le système de contrôle plus attrayant. Une intégration matérielle et logicielle plus étroite avec des capteurs intégrés dans le casque AR devrait conduire à un système de contrôle BCI prêt à l'emploi pour diverses applications.

Since the inception of digital computers, creating intuitive user interfaces has been crucial. Effective and efficient user interfaces ensure usability, significantly influenced by the deployment environment and target demographic. Diverse interaction modalities are essential for inclusive device usability.Brain-computer interfaces (BCIs) enable interaction with devices through neural signals, promising enhanced interaction for individuals with paralysis and improving their autonomy and quality of life. This research project develops a proof-of-concept software using off-the-shelf hardware to control a robotic arm with BCI. The BCI system decodes user intentions from EEG signals to execute commands, focusing on the optimal design of a BCI control system for practical human-robot collaboration.The research established the following key objectives: developing a real-time motor imagery (MI) decoding strategy with fast decoding, minimal computational cost, and low calibration time; designing a control system to address low MI decoding accuracy while enhancing user experience; and developing an evaluation procedure to quantify system performance and inform improvements.The literature review identified issues like the prevalence of offline decoding and lack of standardized evaluation procedures for BCIs, and highlighted the limitations of using deep learning for MI decoding. This prompted a focus on off-the-shelf machine learning methods for EEG decoding.Initial development benchmarked various EEG decoding pipelines for neuroprostheses control, finding that standard common spatial patterns and linear discriminant analysis were practical despite user customization yielding optimal results. Another investigation reduced the number of sensors for MI decoding, using a 64-channel EEG device and demonstrating that reliable MI decoding can be achieved with just eight well-placed sensors. This feasibility of using low-density EEG devices with fewer than 32 electrodes reduces costs.A comprehensive evaluation framework for BCI control systems was developed, ensuring iterative software improvements and participant training. An augmented reality (AR) control system design was also described, integrating visual feedback with real-world overlays via a shared control approach using eye tracking for object selection and computer vision for spatial awareness.A user study compared the developed BCI control system to an eye-tracking-only control system. While eye tracking outperformed the BCI system, the study confirmed the feasibility of the BCI design for real-world applications with potential enhancements.Key findings include:- Eight well-placed EEG sensors are sufficient for adequate decoding performance, with a non-significant decrease in accuracy from 0.67 to 0.65 when reducing from 64 sensors to 8.- A shared control design informed by real-world contexts simplifies BCI decoding, and AR integration enhances the user interface. Only 2 MI classes are needed to achieve a success rate of 0.83 on evaluation tasks.- Despite eye tracking outperforming current BCI systems, BCIs are feasible for real-world use, with significantly higher efficiency in task completion time for the eye-tracking system.- Consumer-grade EEG devices are viable for EEG acquisition in BCI control systems, with all participants using the commercial EEG device successfully completing evaluation tasks, indicating further cost reductions beyond sensor reduction.Future research should integrate advanced EEG decoding methods like deep learning, transfer learning, and continual learning. Gamifying the calibration procedure may yield better training data and make the control system more attractive to users. Closer hardware-software integration through embedded decoding and built-in sensors in AR headsets should lead to a consumer-ready BCI control system for diverse applications.