Méthodes Robustes Basées sur l’Apprentissage Profond pour la Correspondance de Formes Non Rigides

Robust Deep Learning-based Methods for Non-Rigid Shape Correspondence

• Auteur / Autrice : Souhaib Attaiki
• Direction : Maks Ovsjanikov
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 10/10/2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Edition- Littératures- Langages- Informatique- Arts- Didactique- Discours - UFC (UR 4661) / ELLIADD
• Jury : Président / Présidente : Vincent Lepetit
• Jury : Examinateurs / Examinatrices : Maks Ovsjanikov, Stefanie Wuhrer, Loïc Landrieu, Daniel Cremers, Angela Dai
• Jury : Rapporteurs / Rapporteuses : Stefanie Wuhrer, Loïc Landrieu

Mots clés

Mots clés contrôlés

Apprentissage profond

Modélisation tridimensionnelle

Vision par ordinateur

Mots clés libres

Vision par ordinateur

Modélisation tridimensionnelle

Apprentissage profond

Géométrie -- Informatique

Computer Vision

Deep Learning

Shape Matching

3D Computer Vision

Résumé

Le traitement et l'analyse automatiques des formes 3D sont un domaine de recherche crucial avec des implications significatives pour des domaines tels que l'imagerie médicale, la réalité virtuelle et l'infographie. Un défi majeur dans ce domaine est la comparaison efficace des formes non rigides, qui implique d'établir des correspondances entre des surfaces subissant des déformations complexes. Cette thèse améliore l'état de l'art dans la correspondance des formes non rigides en tirant parti de l'apprentissage profond au sein du cadre des cartes fonctionnelles. %Les méthodes précédentes de cartes fonctionnelles profondes rencontrent des difficultés avec les formes partielles, le décodage des informations dans leurs fonctions de sonde, et l'utilisation de grands ensembles de données pour le pré-entrainement, entre autres problèmes.Pour surmonter ces obstacles, notre travail apporte cinq avancées significatives au domaine des cartes fonctionnelles profondes. Premièrement, nous introduisons DPFM, une nouvelle architecture qui améliore la communication entre les formes source et cible, particulièrement apte à gérer les formes partielles avec des déformations non rigides. Deuxièmement, nous présentons le Prior de Correspondance Neurale (NCP), qui utilise les réseaux neuronaux comme un prior pour proposer une méthode générale et non supervisée de correspondance de formes, particulièrement adaptée aux données clairsemées et non isométriques.De plus, nous analysons les caractéristiques apprises grâce aux cartes fonctionnelles profondes et proposons des modifications simples au pipeline qui étendent l'utilité de ces caractéristiques au-delà de leurs rôles traditionnels. En outre, nous abordons le défi de la robustesse des caractéristiques d'entrée en explorant le pré-entrainement de caractéristiques locales généralisables sur de grands ensembles de données de formes rigides, améliorant ainsi les performances dans les tâches d'analyse de formes non rigides. Nous introduisons également une méthode sans entrainement préalable (zero-shot) pour la correspondance de formes non rigides qui fonctionne indépendamment de toute étape de pré-entrainement ou d'ensemble de données.Ensemble, ces innovations offrent des solutions robustes et efficaces pour la correspondance de formes non rigides, répondant à des défis de longue date et élargissant l'application de ces méthodes à divers ensembles de données et applications du monde réel.

The automatic processing and analysis of 3D shapes is a critical area of research with significant implications for fields such as medical imaging, virtual reality, and computer graphics. A primary challenge in this domain is the efficient comparison of non-rigid shapes, which involves establishing correspondences between surfaces undergoing complex deformations. This dissertation enhances the state-of-the-art in non-rigid shape matching by leveraging deep learning within the functional map framework. Previous deep functional map methods struggle with partial shapes, decoding the information in their probe functions, and utilizing large-scale datasets for pretraining, among other issues.To overcome these obstacles, our work contributes five significant advancements to the field of deep functional maps. First, we introduce Deep Partial Functional Maps (DPFM), a novel architecture that enhances communication between source and target shapes, particularly adept at handling partial shapes with non-rigid deformations. Second, we present the Neural Correspondence Prior (NCP), which employs neural networks as a prior to propose a general, unsupervised method for shape matching, especially suitable for sparse and non-isometric data.Additionally, we analyze the features learned through deep functional maps and suggest straightforward modifications to the pipeline that extend the utility of these features beyond their traditional roles. Furthermore, we tackle the challenge of input feature robustness by exploring the pre-training of generalizable local features on large datasets of rigid shapes, thus boosting performance on non-rigid shape analysis tasks. We also introduce a zero-shot method for non-rigid shape matching that operates independently of any pretraining steps or datasets.Together, these innovations provide robust and efficient solutions for non-rigid shape matching, addressing long-standing challenges and broadening the application of these methods to diverse real-world datasets and applications.