Étude de l'attention en réalité virtuelle à l'aide de signaux électroencéphalographiques et du suivi du regard

Studying Attention in Virtual Reality with Electroencephalography and Eye-Tracking

• Auteur / Autrice : Victor Delvigne
• Direction : Hazem Wannous, Thierry Dutoit
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 04/10/2022
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Lille Douai en cotutelle avec Université de Mons
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Centre for Digital Systems / CERI SN - IMT Nord Europe
• Partenaire(s) de recherche : Equipe de recherche : Centre de Recherche en Informatique, Signal et Automatique de Lille
• Jury : Président / Présidente : Jonathan Weber
• Jury : Examinateurs / Examinatrices : Olivier Debeir, Laurence Ris, Jean-Philippe Vandeborre
• Jury : Rapporteurs / Rapporteuses : Bernadette Dorizzi, Benoît Macq

Mots clés

Mots clés libres

Analyse des Signaux Electroencéphalographiques

Estimation de l’Attention

Interface Cerveau-Machines (ICM)

Apprentissage Profond

Electroencephalogram Signals Analysis

Attention Estimation

Brain Computer Interfaces (BCI)

Deep Learning (DL)

Résumé

Le Trouble du déficit de l'Attention avec ou sans Hyperactivité (TDAH) est l'une des maladies psychiatriques les plus prévalentes auprès des enfants (5\% de la population totale). Plusieurs traitements et diagnostics ont été conçus, cependant, certains d'entre eux présentent un prix élevé, une faible précision ou des effets secondaires défavorables. Une nouvelle méthode, le neurofeedback, consiste à représenter les signaux biomédicaux sous une forme compréhensible afin d'aider les participants à réduire leurs symptômes par eux-mêmes. Dans le cadre du développement de telles applications, différents axes de recherche ont été considérés au cours de cette thèse. Premièrement, l'état d'attention des participants doit être mesuré et enregistré de manière objective à partir de signaux physiologiques. Pour ce faire, un corpus d'Électroencéphalogramme (EEG) et de mesure de la direction du regard a été enregistré dans des environnements virtuels spécialement dédiés à cette tâche. Ces derniers ayant été développés en collaboration avec des spécialistes du domaine. Deuxièmement, grâce aux récentes avancées en matière d'intelligence artificielle (IA), diverses nouvelles approches pour traiter les signaux biomédicaux ont été considérées. Ces avancées permettant au mieux d'estimer l'état d'attention à partir des mesures physiologiques. Finalement, les découvertes faites au cours de cette thèse ont permis le développement d'une nouvelle application. Celle-ci a pour but de maximiser ses effets sur l'attention des participants le plus longtemps possible.

Attention Deficit Hyperactivity Disorder (ADHD) is the most prevalent psychiatric disease in childhood (5% of the total population). Several treatments and diagnoses have been designed, however, some of them present a high price, a low accuracy or unfavourable side effects. Neurofeedback training, a novel method to help in the reduction of attention-related symptoms consists of a real-time representation of the brain activity (in an understandable form) to teach the participants how to self-regulate their symptoms. To develop applications proposing neurofeedbacks, several aspects have been considered in this thesis. First, participants’ attention has to be objectively recorded and assessed based on several physiological signals. PhyDAA, a corpus of Electroencephalogram (EEG) and eye-tracking signals have been recorded in VERA a framework composed of novel Virtual Reality (VR) environments specially designed for this task. These environments have been jointly developed with specialists in the field. Second, with the advancement of Artificial Intelligence (AI), several novel signal processing techniques have been designed for biomedical signals analysis in order to estimate the attention state from physiological measurements. Finally, a novel application reacting to participants’ attention state based on the insights made above has been developed. The goal of the latter is to maximize the video game effects on the participant’s attention. This application could help participants reduce attention-related disorders’ symptoms by better detecting them.