Modélisation efficiente du corps humain en mouvement : utilisation de méthodes d’analyse spectrale et d’apprentissage profond pour le traitement de surfaces dynamiques

Efficient modelisation of human body in motion : use of spectral analysis and deep learning methods to process dynamic surfaces

• Auteur / Autrice : Clément Lemeunier
• Direction : Florent Dupont, Guillaume Lavoué
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/12/2023
• Etablissement(s) : Lyon 1
• Ecole(s) doctorale(s) : École doctorale InfoMaths (Lyon ; 2009-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'InfoRmatique en Images et Systèmes d'information (Ecully, Rhône ; 2003-....)
• Jury : Président / Présidente : Franck Hétroy
• Jury : Examinateurs / Examinatrices : Florent Dupont, Stefanie Wuhrer, Damien Rohmer, Florence Zara
• Jury : Rapporteur / Rapporteuse : Stefanie Wuhrer, Damien Rohmer

Mots clés

Mots clés contrôlés

Analyse temporelle

Corps humain

Capture de mouvements

Impression 4D

Mots clés libres

Maillages triangulaires

Analyse spectrale

Apprentissage profond

Analyse temporelle

Triangular meshes

Spectral analysis

Deep learning

Temporal analysis

Résumé

Développer des modèles capables de comprendre la dynamique du corps humain représente aujourd'hui un défi important dans le domaine de l'informatique graphique. Les évolutions récentes dans le domaine de la capture de mouvement permettent de générer des bases de données composées de modèles 4D de surfaces incluant l'information détaillée de l'apparence et du mouvement des sujets capturés. Aujourd'hui, les architectures d'apprentissage profond capables de comprendre et de générer du texte ou des images sont courantes et ont été introduites au grand public. Néanmoins, transférer les méthodes utilisées dans ces architectures à des données générées par les captures de mouvement n'est pas évident en raison de la différence de structure. En effet, le texte ou les images ont une structure régulière ou euclidienne, alors que les données générées par les captures de mouvement sont plutôt de types nuages de points ou maillages triangulaires qui n'ont plus cette structure régulière et qui résident plutôt dans un domaine non-euclidien. L'objectif de ce document est premièrement de s'intéresser aux méthodes de l'état de l'art qui permettent l'application de méthodes utilisées en apprentissage profond à des données résidant dans un domaine plus complexe et de plus haute dimension. Cette recherche de transfert de méthodes tombe dans le champ d'étude récemment introduit et nommé \emph{Geometric Deep Learning}. De manière générale, les méthodes s'intéressant à ce type de données ne traitent l'information surfacique que de manière statique et ne prennent pas en compte l'information dynamique du mouvement. L'intention principale de la thèse est de résoudre cette problématique en combinant des techniques d'analyse de surfaces statiques à des méthodes exploitant la dimension temporelle présente dans la capture de corps humains. Le deuxième objectif est d'explorer les méthodes d'analyse spectrale de données 3D permettant la transformation de surfaces dans le domaine des fréquences. Les structures créées par cette analyse spectrale seront étudiées afin de comprendre comment elles peuvent être exploitées pour résoudre la problématique principale. La seconde intention est donc de montrer qu'il est possible de développer des modèles d'apprentissage profond génératifs appliqués à des données 4D en utilisant seulement l'information contenue dans le domaine spectral, la transformation de surfaces dynamiques dans le domaine des fréquences permettant de s'affranchir des contraintes introduites par la non-régularité de leur structure. Les travaux présentés dans cette thèse représentent deux contributions. D'abord, une approche est proposée pour le traitement de données issues de captures de mouvement sans prendre en compte l'information temporelle. Cette première contribution concerne l'exploitation du traitement spectral de surfaces couplé à des techniques d'apprentissage profond, permettant le développement d'un modèle capable de créer une représentation adaptée au corps humain. Ensuite, une deuxième contribution permet la prise en compte de l'information dynamique en exploitant la première contribution couplée à une architecture capable de comprendre le contexte de séquences de données. Nos méthodes produisent des résultats compétitifs avec l'état de l'art et permettent d'ouvrir la voie vers une nouvelle manière de traiter ce type de données qui résident dans le domaine de la 3D et de la 4D, un défi actuellement important dans la littérature.

Developing models capable of understanding the dynamics of the human body represents today a significant challenge in the field of computer graphics. Recent developments in the field of motion capture make it possible to generate databases composed of 4D surface models including detailed information on the appearance and movement of the captured subjects. Today, deep learning architectures able to understand and generate text or images are common and have been introduced to the general public. However, transferring the methods used in these architectures to data generated by motion capture is not easy due to the difference in structure. Indeed, the text or images have a regular or Euclidean structure, while the data generated by motion capture are represented by point clouds or triangular meshes which no longer have this regular structure and which reside rather in a non-Euclidean domain. The objective of this document is firstly to focus on state-of-the-art methods which allow the application of methods used in deep learning to data residing in a more complex and higher dimensional domain. This method transfer research falls into the recently introduced field of study named \emph{Geometric Deep Learning}. Generally speaking, the methods interested in this type of data only process the surface information in a static manner and do not take into account the dynamic information of the movement. The main intention of the thesis is to resolve this problem by combining static surface analysis techniques with methods exploiting the temporal dimension present in the capture of human bodies. The second objective is to explore methods for spectral analysis of 3D data allowing the transformation of surfaces in the frequency domain. The structures created by this spectral analysis will be studied in order to understand how they can be exploited to solve the main problem. The second intention is therefore to show that it is possible to develop generative deep learning models applied to 4D data using only the information contained in the spectral domain, the transformation of dynamic surfaces in the frequency domain making it possible to free themselves from the constraints introduced by the non-regularity of their structure. The work presented in this thesis represents two contributions. First, an approach is proposed for processing data from motion capture without taking into account temporal information. This first contribution concerns the exploitation of spectral mesh processing coupled with deep learning techniques, allowing the development of a model capable of creating a representation adapted to the human body. Then, a second contribution allows dynamic information to be taken into account by exploiting the first contribution coupled with an architecture capable of understanding the context of data sequences. Our methods produce results competitive with the state of the art and open the way towards a new way of processing this type of data which resides in the domain of 3D and 4D, a currently important challenge in the literature.