Apprentissage profond pour les maillages 3D

Deep Learning for 3D Meshes

• Auteur / Autrice : Nitika Verma
• Direction : Edmond Boyer
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 20/10/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble)
• Jury : Président / Présidente : Élisa Fromont
• Jury : Examinateurs / Examinatrices : Jakob Verbeek, Iasonas Kokkinos
• Jury : Rapporteurs / Rapporteuses : Emanuele Rodola, Christian Wolf

Mots clés

Mots clés contrôlés

Imagerie tridimensionnelle

Réseaux neuronaux (informatique)

Apprentissage profond

Mots clés libres

L'apprentissage en profondeur

3D vision

3D shape modelling

Deep learning

3D vision

3D shape modelling

Résumé

Les méthodes d'apprentissage profond ont connu un succès phénoménal dans plusieurs domaines scientifiques dont la vision par ordinateur, le traitement du langage naturel ou encore la reconnaissance vocale. C’est le cas des réseaux de neurones convolutifs (CNNs) qui sont désormais omniprésents dans les algorithmes qui considèrent des images 2D pour faire de la classification, de la détection ou bien de la segmentation.Si les CNNs s'étendent naturellement à d'autres domaines où les données sont également organisées en grilles rectangulaires, par exemple l'audio et la vidéo, ils généralisent mal à des structures de données irrégulières telles que celles utilisées pour représenter des formes 3D, notamment les maillages de points. Cette limitation constitue un défi à l'extension des méthodes d'apprentissage profond aux formes 3D. Dans cette thèse nous présentons deux contributions importantes dans ce contexte.Dans notre première contribution, nous proposons une nouvelle architecture de réseau à convolution de graphe qui s'appuie sur une formulation générique de la couche de convolution dans un réseau. Cette formulation permet de relâcher la contrainte de correspondance fixe entre les poids des filtres de convolution et les éléments voisins du sommet au centre de la convolution. La principale nouveauté est alors que cette association entre poids du filtre et voisins sur le maillage se fait de manière dynamique en fonction des caractéristiques de la couche précédente du réseau, et est apprise comme une partie intégrante du réseau neuronal. Nous avons évalué cette stratégie en l’appliquant au problème de la mise en correspondance de formes 3D. Les résultats obtenus ont constitué, au moment de la publication, une amélioration significative de l’état de l’art sur la correspondance de formes.Dans une deuxième contribution, nous explorons comment ces réseaux peuvent être étendus à une représentation duale des maillages triangulaires de surfaces, où les nœuds représentent alors les facettes triangulaires en lieu des sommets du maillage. Cette représentation duale offre plusieurs avantages par rapport à la représentation primaire basée sur les sommets : (i) elle est régulière, c'est-à-dire que chaque facette triangulaire a exactement trois voisins (ii) plusieurs propriétés des formes sont naturellement définies sur les facettes, par exemple les normales à la surface ou l'aire de la surface. Nous avons également évalué cette approche avec la mise en correspondance de formes 3D et nous avons aussi étudié sa robustesse aux changements de connectivité des maillages considérés.

Deep Learning methods have achieved phenomenal success in several fieldssuch as computer vision, natural language processing, and speech recognition.In particular, Convolutional neural networks (CNNs) are now ubiquitousin state-of-the-art approaches for 2D images such as image classification,detection, segmentation, etc. While CNNs naturally extend to other domains,such as audio and video, where data is also organized in rectangular grids,they do not easily generalize to different types of irregular data such as 3Dmeshes. This lack of generalization is the biggest challenge to extendingdeep learning methods to 3D shape data. This thesis presents our two maincontributions for feature learning on 3D shape data, specifically meshes.In our first contribution, we propose a novel graph-convolutional networkarchitecture that builds on a generic formulation that relaxes the 1-to-1correspondence between filter weights and elements around the center ofthe convolution. The main novelty of our architecture is that the filter weightis a function of the features in the previous network layer, which are learnt asan integral part of the neural network. We perform experimental evaluationson 3D shape correspondence task yielding state-of-the-art results at thetime of publication, significantly improving over previous work for shapecorrespondence.In our second contribution, we explore how these networks can be extendedto the dual face-based representation of triangular meshes, where nodesrepresent triangular faces instead of vertices. Compared to the primal vertexmesh, its dual face mesh offers several advantages: (i) it is regular, i.e. eachtriangular face has exactly three neighbors (ii) several input features arenaturally defined over faces, such as surface normals and area. We alsoevaluate this approach on the 3D shape correspondence task and furtherstudy the robustness of the models to structural transformations of the inputmesh.