Reconnaissance des comportements et rééducation fonctionnelle du visage à partir des descripteurs biomécaniques 3D et l'apprentissage profond

Enhanced facial behavior recognition and rehabilitation using 3D biomechanical features and deep learning approaches

• Auteur / Autrice : Duc-Phong Nguyen
• Direction : Tien-Tuan Dao, Marie-Christine Ho Ba Tho
• Type : Thèse de doctorat
• Discipline(s) : Biomécanique et Bioingénierie
• Date : Soutenance le 30/06/2022
• Etablissement(s) : Compiègne
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Compiègne)
• Partenaire(s) de recherche : Laboratoire : Biomécanique et bioingénierie - Biomécanique et Bioingéniérie

Mots clés

Mots clés contrôlés

Médecine physique et de réadaptation

Expression du visage

Paralysie

Face

Biomécanique

Systèmes d'aide à la décision

Éléments finis, Méthode des

Modélisation tridimensionnelle

Reconnaissance des formes (informatique)

Intelligence artificielle

Apprentissage par renforcement (intelligence artificielle)

Apprentissage profond

Mots clés libres

Descripteurs biomécanqiues 3D

Caractéristiques biomécaniques 3D

Reconstruction de la forme du visage en 3D

Reconnaissance des expressions faciales en 3D

Analyse de symétrie faciale 3D

Comportement du visage

Rééducation faciale

Rééducation par mimique faciale

Apprentissage profond géométrique

3D biomechanical features

3D face shape reconstruction

3D facial expression recognition

3D facial symmetry analysis

Facial mimic rehabilitation

Geometric deep learning

Reinforcement learning

Facial rehabilitation

Artificial intelligence

Deep learning

Finite element method

Three-dimensional modeling

Pattern recognition systems

Decision support systems

Résumé

Les patients atteints de paralysie faciale ou les patients sous transplantation faciale présentent des dysfonctionnements faciaux et des mouvements faciaux anormaux. Cela est dû à l'altération du nerf facial et des systèmes musculaires faciaux. La rééducation faciale traditionnelle actuelle est principalement basée sur une approche miroir pour surveiller le retour visuel qualitatif de l'exercice de rééducation. Des systèmes assistés par ordinateur basés sur des modèles basés sur la physique ont également été développés pour fournir des informations objectives et quantitatives. Cependant, l'utilisation de ces systèmes dans la pratique clinique de routine reste encore difficile en raison de plusieurs limitations : 1) le manque de d'informations 3D à partir d'images ou la dépendance des caméras sélectionnés ; 2) le manque d'analyse du visage en termes de reconnaissance d'expression et d'analyse de symétrie et 3) la limitation de la capacité prédictive des modèles de mouvement du visage avec des propriétés biomécaniques émergentes. Les objectifs de la thèse ont été de développer des solutions d'ingénierie innovantes pour un système d'aide à la décision assistée par ordinateur de nouvelle génération pour l'analyse faciale et la rééducation fonctionnelle. La thèse a fourni quatre contributions principales : 1) la reconstruction rapide de la forme du visage en 3D à partir d'une seule image 2D en utilisant des approches d'apprentissage en profondeur ; 2) l'amélioration de la reconnaissance des expressions faciales à l'aide d'un ensemble de points 3D et d'un apprentissage profond géométrique ; 3) l'analyse de la symétrie du visage basée sur de nouveaux descripteurs et la différence entre deux populations différentes (caucasienne et asiatique) et 4) la proposition d'un nouveau cadre de modélisation pour l'apprentissage du mouvement facial en couplant l'apprentissage par renforcement et la modélisation par éléments finis pour l'apprentissage et la prédiction du mouvement facial. En conclusion, la thèse a proposé un cadre pour le développement et le déploiement un système d'aide à la décision assistée par ordinateur de bout en bout pour guider et optimiser le programme de rééducation fonctionnelle.

Facial palsy patients or patients under facial transplantation have facial dysfunctionalities and abnormal facial motion. This is due to the altered facial nerve and facial muscle systems. Current traditional facial rehabilitation is based mainly on a mirror approach to monitor the visual qualitative feedback from the rehabilitation exercise. Computer-aided systems based on physics-based models have also been developed to provide objective and quantitative information. However, the use of these systems in clinical routine practice still remains challenging due to several limitations: 1) the lack of building 3D information from images or the dependency on the selected cameras; 2) the lack of analyzing the face in terms of expression recognition and symmetry analysis and 3) the limitation of the predictive capacity of the facial motion patterns with emerging biomechanical properties. The objectives of this Ph.D. are to develop innovative engineering solutions toward a next-generation computer-aided decision support system for facial analysis and rehabilitation. The thesis provided four main contributions: 1) the fast reconstruction of the 3D face shape from a single 2D image using deep learning approaches; 2) the improvement of facial expression recognition using 3D point set and geometric deep learning; 3) the face symmetry analysis based on novel descriptors and the difference between two different populations (Caucasian and Asian) and 4) the proposition of a novel modeling workflow for learning facial motion by coupling reinforcement learning and the finite element modeling for facial motion learning and prediction. The thesis opens new avenues for developing and deploying an end-to-end computer-aided decision support system to guide and optimize the functional rehabilitation program.