Analyse quantifiée des vidéos de crises épileptiques

Quantified analysis for video recordings of seizure

• Auteur / Autrice : Jen-Cheng Hou
• Direction : Monique Thonnat, Fabrice Bartolomei
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2021
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Sophia Antipolis, Alpes-Maritimes)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Philippe Robert
• Jury : Examinateurs / Examinatrices : Monique Thonnat, Fabrice Bartolomei, Philippe Robert, Pau-Choo Chung, Séverine Dubuisson, Aileen McGonigal, Philippe Kahane
• Jury : Rapporteurs / Rapporteuses : Pau-Choo Chung, Séverine Dubuisson

Mots clés

Mots clés contrôlés

Apprentissage supervisé (intelligence artificielle)

Apprentissage profond

Reconnaissance gestuelle

Vision par ordinateur

Vidéos

Mots clés libres

Analyse vidéo de crise

Apprentissage profond

Apprentissage auto-supervisé

Seizure video analysis

Deep learning

Self-supervised learning

Résumé

L’épilepsie est un trouble neurologique causé par une activité neuronale anormale dans le cerveau. Environ 1% de la population mondiale en est affectée. De nombreuses manifestations motrices (incluant des convulsions, des modifications toniques, cloniques, hyperkinétiques) peuvent s‘observer et sont une source de handicap majeur pour les patients. La motivation de cette recherche est de développer des méthodes basées sur des techniques récentes d’apprentissage automatique pour fournir une analyse objective des vidéos de crises cliniques.Dans cette thèse, nous proposons trois contributions principales à l’analyse automatisée des vidéos de crises. Dans la première contribution, nous explorons des crises d’épilepsie hyperkinétiques en analysant les trajectoires du mouvement de la tête des patients. Les résultats fournissent une base pour étudier la corrélation entre les modifications spectrales de l’EEG et la fréquence des mouvements de la tête.Néanmoins, l’épilepsie n’est pas la seule cause qui donne lieu à des crises. Par exemple, les crises psychogènes non épileptiques (PNES) en font partie. Ce sont des événements ressemblant à une crise d’épilepsie (ES), mais sans les décharges électriques caractéristiques associées á l’épilepsie. Bien les distinguer est donc important pour un diagnostic précis et des traitements de suivi. Les signes cliniques ou sémiologiques, sont évalués par les neurologues, mais leur interprétation subjective est susceptible de variabilité inter-observateur. Par conséquent, il est urgent de créer un système automatisé pour analyser les vidéos de crises. Dans cette recherche, nous proposons deux autres contributions pour classer ES et PNES uniquement sur la base des vidéos. Notre deuxième contribution utilise des informations issues de l’apparence et de points clés du corps et du visage des patients. En introduisant aussi un mécanisme de distillation des connaissances, les performances du score F1 et la précision sont de 0,85 et 0,82.Puis sur la base de cette approche, nous menons une expérience parallèle pour distinguer ES avec émotion/non-émotion et dystonie/non-dystonie en fonction des composantes visage ou corps de la méthode. La validation LOSO donne des résultats satisfaisants, indiquant que notre modèle peut capturer des caractéristiques spatio-temporelles efficaces pour le visage et le corps pour l’analyse des crises. Dans notre troisième contribution, nous proposons un modèle en deux étapes qui est d’abord pré-entraîné sur de grandes vidéos contextuelles puis ce modèle est affiné pour la classification des types de crises.Le modèle est basé sur l’encodeur du modèle Transformer. Étant donné qu’il est coûteux d’obtenir de grandes bases de données étiquetés par des médecins, nous cherchons á exploiter des données volumineuses non étiquetées pour initialiser les poids du modèle, puis le modèle est affiné sur la tâche cible en aval. Ce modèle traite uniquement les caractéristiques d’apparence par contre il implique plus de cas que ceux de la première étude. Le score F1 et la précision de la validation LOSO sont de 0,82 et 0,75. Grâce aux résultats très encourageants de cette recherche, nous proposons une base pour une direction de recherche prometteuse dans le domaine de l’analyse vidéo automatisée des crises.

Epilepsy is a neurological disorder caused by abnormal neuron activity in the brain. Around 1% of the population worldwide is affected by it. Numerous motor manifestations (including convulsions, tonic, clonic, hyperkinetic changes) can be observed and are a source of major disability for patients. The motivation of this research is to develop methods based on recent machine learning techniques to provide objective analysis for clinical seizure videos.In this thesis, we propose three main contributions towards automated vision-based seizure analysis. In the first contribution, we explore some hyperkinetic epileptic seizures by analyzing the head movement trajectories of the patients. The results provide a basis for studying the correlation between the spectrum of EEG and the head movement frequency. Nevertheless, epilepsy is not the only cause that gives rise to a seizure event. For example, psychogenic non-epileptic seizures (PNES) are one of them. They are events resembling an epileptic seizure (ES), but without the characteristic electrical discharges associated with epilepsy. How to distinguish them is important for accurate diagnosis and follow-up treatments. The clinical signs or semiology are evaluated by neurologists, but the subjective interpretation is liable for inter-observer variability. Hence, there is an urgent need to build an automated system to analyze seizure videos with the latest computer vision progress. In this research, we propose two other contributions for classifying ES and PNES solely based on the videos. Our second contribution utilizes multi-stream information from appearance and key-points for both the bodies and faces of the patients. In addition by introducing the knowledge distillation mechanism, the performance of the F1-score and the accuracy are 0.85 and 0.82. Furthermore, based on this approach, we conduct a side experiment for distinguishing ES with emotion/non-emotion and dystonia/non-dystonia based on the face and body streams in the method. The LOSO validation gives satisfactory results, indicating our model can capture effective spatio-temporal features for face and body for seizure analysis. In our third contribution, we propose a two-step model which is first pre-trained on large contextual videos then this model is fine-tuned for seizure type classification.The model is based on the encoder of the Transformer model. Given that it is expensive to get large datasets labeled by doctors, we try to leverage large unlabeled data for a good weight initialization point for the model, and then fine-tune it on the target downstream task. This model only processes the appearance features but more cases than those in the first study are involved.The F1-score and accuracy of the LOSO validation are 0.82 and 0.75. With the very encouraging results in this research, we demonstrate a basis for a promising research direction in the field of automated seizure video analysis.