Invariance à la reparamétrisation en apprentissage profond géométrique : applications à la synthèse de mouvements de corps et de visages humains

Reparametrization invariance in geometric deep learning : applications to human body and face motion synthesis

• Auteur / Autrice : Thomas Besnier
• Direction : Mohamed Daoudi, Sylvain Arguillère
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 25/11/2025
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : École graduée Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Centre de Recherche en Informatique, Signal et Automatique de Lille
• Partenaire(s) de recherche : Financeur : Université de Lille (2022-....)
• Jury : Président / Présidente : Alain Trouvé
• Jury : Examinateurs / Examinatrices : Jean Feydy
• Jury : Rapporteurs / Rapporteuses : Stefanie Wuhrer, Guillaume Lavoué
• DOI : 10.70675/b09a034az68fcz4543z935bz351061aa789b

Mots clés

Mots clés contrôlés

Vision par ordinateur

Reconnaissance de l'activité humaine (informatique)

Apprentissage non supervisé (intelligence artificielle)

Apprentissage profond

Surfaces (mathématiques) -- Déformation

Mots clés libres

Deep learning géométrique

Vision par ordinateur 3D

Analyse de corps humains et de visages humains

Geometric deep learning

3D computer vision

Face and body analysis

Résumé

Les données de formes 3D sont particulièrement difficiles à traiter en raison de leur relativement faible quantité et de leur complexité. Pourtant, réussir à calculer des déformations plausibles de telles formes est essentiel pour de nombreuses applications, allant de la réalité augmentée à l'ingénierie mécanique et à l'imagerie biomédicale. Les méthodes d'apprentissage ont montré des performances remarquables dans le traitement des données de textes et d'images. Cependant, généraliser de tels modèles pour traiter les données de formes déformables pose de multiples défis en raison de leur aspect non euclidien et de leur grande dimensionnalité.Les maillages de surface constituent une discrétisation naturelle des données de formes 3D. Lorsqu'ils sont acquis à l'état brut, ces maillages ne sont pas alignés par rapport à un template, ce qui signifie que l'agencement des sommets et des faces du maillage n'est pas précisément connu. Cette observation est souvent négligée, et de nombreux algorithmes, en particulier ceux basés sur l'apprentissage, sont conçus pour des données alignées avec une structure connue. Cela limite leur utilisation pour des applications réelles, puisque le modèle ne peut pas généraliser à de nouvelles discrétisations. Cette thèse présente des avancées concernant le problème de la prédiction de déformations de surfaces qui restent robustes lorsque les maillages d'entrée sont remaillés, et nous présentons plusieurs contributions en ce sens dans ce manuscrit.Tout d'abord, nous proposons une nouvelle fonction de coût pour l'apprentissage non supervisé des déformations de visages à partir d'un template, en utilisant un modèle de type autoencodeur. Ensuite, nous enrichissons la structure d'espace latent global pour induire de la localité en combinant des features locales et globales, ce qui permet de prédire des déformations et des interpolations partielles. Puis, avec une modalité supplémentaire (l'audio), nous développons cette idée afin de proposer le premier modèle de têtes parlantes en 3D capable de généraliser à travers différentes structures de maillage. Enfin, nous modifions ce même modèle de manière séquentielle pour l'utiliser dans des mouvements impliquant de grandes distances tels que la marche et la course.Ensemble, ces contributions répondent à des limitations communes et difficiles des modèles de déformations de surface.

3D shape data is especially challenging to process because of its scarcity and complexity. Still, being able to compute plausible deformations of such shapes is critical for many applications, from augmented reality to mechanical engineering and biomedical imaging. Learning-based frameworks have shown tremendous performance when dealing with text and image data. However, leveraging this efficiency for deformable 3D data faces multiple challenges due to its non-Euclidean and high-dimensional characteristics.Surface meshes are a natural discretization of 3D shape data. When acquired in a raw state, these meshes are said to be unregistered, which means the arrangement of vertices and faces of the mesh is not precisely known. This observation is often overlooked, and many algorithms—especially learning-based ones—are designed for registered data with a known structure. This induces limitations in the applicability of such algorithms to real-world scenarios if the model cannot generalize to unseen discretizations.This thesis presents advancements regarding the problem of predicting surface deformations that remain robust when input meshes are remeshed, and we present several contributions in this regard in the manuscript.First, we propose a novel loss function for unsupervised learning of facial and expression deformations from a template mesh using an autoencoder framework. Then, we expand the latent structure to induce locality by combining local and global features, enabling partial deformations and interpolations. Building on a similar idea, we extend this neural feature field for deformations with an additional modality (audio) to propose the first talking-head model that can generalize across different mesh structures. Finally, we adapt this framework in a sequential manner to model long-range motions such as walking and running.Together, these contributions address common and challenging limitations of deep deformation models for surface data.