Marqueurs numériques faciaux de l'hypomimie fondés sur l'apprentissage profond pour la détection précoce et l'analyse de la maladie de Parkison

Deep learning-based video face-based digital markers for early detection and analysis of Parkinson disease

• Auteur / Autrice : Anas Filali razzouki
• Direction : Mounim El Yacoubi, Dijana Petrovska-Delacrétaz
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 16/01/2025
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Télécom SudParis (Evry ; 2012-....) - Institut Polytechnique de Paris / IP Paris - Département Electronique et Physique / TSP - EPH - ARMEDIA / ARMEDIA-SAMOVAR
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom SudParis (Evry ; 2012-....)
• Jury : Président / Présidente : Jean-Christophe Corvol
• Jury : Examinateurs / Examinatrices : Hui Yu, Julian Fierrez aguilar, Chrystalina Antoniades, Holger Froehlich
• Jury : Rapporteurs / Rapporteuses : Hui Yu, Julian Fierrez aguilar

Mots clés

Mots clés contrôlés

Maladie de Parkinson

Apprentissage profond

Mots clés libres

Détection précoce de la maladie de Parkinson

Hypomimie

Marqueurs Faciaux Visuels Numériques

Unités d'Action Faciale

Video Vision Transformer

Interprétabilité des Modèles d'IA pour la Détection de la Maladie de Parkinson

Early Detection of Parkinson's Disease

Hypomimia

Visual Digital Facial Markers

Facial Action Units

Video Vision Transformer

Interpretability of AI Models for Parkinson's Disease Detection

Résumé

Cette thèse vise à développer des biomarqueurs numériques robustes pour la détection précoce de la maladie de Parkinson (MP) en analysant des vidéos faciales afin d'identifier les changements associés à l'hypomimie. Dans ce contexte, nous introduisons de nouvelles contributions à l'état de l'art : l'une fondée sur l'apprentissage automatique superficiel et l'autre fondée sur l'apprentissage profond. La première méthode utilise des modèles d'apprentissage automatique qui exploitent des caractéristiques faciales extraites manuellement, en particulier les dérivés des unités d'action faciale (AUs). Ces modèles intègrent des mécanismes d'interprétabilité qui permettent d'expliquer leur processus de décision auprès des parties prenantes, mettant en évidence les caractéristiques faciales les plus distinctives pour la MP. Nous examinons l'influence du sexe biologique sur ces biomarqueurs numériques, les comparons aux données de neuroimagerie et aux scores cliniques, et les utilisons pour prédire la gravité de la MP. La deuxième méthode exploite l'apprentissage profond pour extraire automatiquement des caractéristiques à partir de vidéos faciales brutes et des données de flux optique en utilisant des modèles fondamentaux basés sur les Vision Transformers pour vidéos. Pour pallier le manque de données d'entraînement, nous proposons des techniques avancées d'apprentissage par transfert adaptatif, en utilisant des modèles fondamentaux entraînés sur de grands ensembles de données pour la classification de vidéos. De plus, nous intégrons des mécanismes d'interprétabilité pour établir la relation entre les caractéristiques extraites automatiquement et les AUs faciales extraites manuellement, améliorant ainsi la clarté des décisions des modèles. Enfin, nos caractéristiques faciales générées proviennent à la fois de données transversales et longitudinales, ce qui offre un avantage significatif par rapport aux travaux existants. Nous utilisons ces enregistrements pour analyser la progression de l'hypomimie au fil du temps avec ces marqueurs numériques, et sa corrélation avec la progression des scores cliniques. La combinaison des deux approches proposées permet d'obtenir une AUC (Area Under the Curve) de classification de plus de 90%, démontrant l'efficacité des modèles d'apprentissage automatique et d'apprentissage profond dans la détection de l'hypomimie chez les patients atteints de MP à un stade précoce via des vidéos faciales. Cette recherche pourrait permettre une surveillance continue de l'hypomimie en dehors des environnements hospitaliers via la télémédecine.

This thesis aims to develop robust digital biomarkers for early detection of Parkinson's disease (PD) by analyzing facial videos to identify changes associated with hypomimia. In this context, we introduce new contributions to the state of the art: one based on shallow machine learning and the other on deep learning.The first method employs machine learning models that use manually extracted facial features, particularly derivatives of facial action units (AUs). These models incorporate interpretability mechanisms that explain their decision-making process for stakeholders, highlighting the most distinctive facial features for PD. We examine the influence of biological sex on these digital biomarkers, compare them against neuroimaging data and clinical scores, and use them to predict PD severity.The second method leverages deep learning to automatically extract features from raw facial videos and optical flow using foundational models based on Video Vision Transformers. To address the limited training data, we propose advanced adaptive transfer learning techniques, utilizing foundational models trained on large-scale video classification datasets. Additionally, we integrate interpretability mechanisms to clarify the relationship between automatically extracted features and manually extracted facial AUs, enhancing the comprehensibility of the model's decisions.Finally, our generated facial features are derived from both cross-sectional and longitudinal data, which provides a significant advantage over existing work. We use these recordings to analyze the progression of hypomimia over time with these digital markers, and its correlation with the progression of clinical scores.Combining these two approaches allows for a classification AUC (Area Under the Curve) of over 90%, demonstrating the efficacy of machine learning and deep learning models in detecting hypomimia in early-stage PD patients through facial videos. This research could enable continuous monitoring of hypomimia outside hospital settings via telemedicine.