Reconstruction progressive de formes à partir de nuages de points 3D

Progressive shape reconstruction from raw 3D point clouds

• Auteur / Autrice : Tong Zhao
• Direction : Pierre Alliez, Laurent Busé
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/03/2023
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Géraldine Morin
• Jury : Examinateurs / Examinatrices : Pierre Alliez, Laurent Busé, Géraldine Morin, Damien Rohmer, Silvia Biasotti, Alexandre Boulch, Julie Digne
• Jury : Rapporteurs / Rapporteuses : Damien Rohmer, Silvia Biasotti

Mots clés

Mots clés contrôlés

Modélisation tridimensionnelle

Apprentissage profond

Réseaux neuronaux (informatique)

Nuages de points

Reconnaissance des formes (informatique)

Surfaces (mathématiques)

Mots clés libres

Reconstruction de surfaces

Reconstruction globale

Reconstruction lisse par morceaux

Nuages de points avec défauts

Quadriques d'erreur

Réseaux de neurones

Surface reconstruction

Global and piecewise-smooth surface reconstruction

Defect-laden point clouds

Quadric error metrics

Neural networks

Résumé

Avec l’enthousiasme pour les jumeaux numériques dans divers domaines, la reconstruction de surfaces à partir de nuages de points 3D est de plus en plus nécessaire, tout en faisant face à des défis scientifiques multiformes. Les dispositifs d’acquisition de données à faible coût permettent d’obtenir facilement et rapidement des scans 3D, mais peuvent conduire à des nuages de points 3D avec défauts. De plus, les utilisateurs attendent des approches de reconstruction de surface légères et contrôlables avec des critères personnalisés en fonction de leurs applications. Cette thèse vise à aborder ces questions en apportant plusieurs approches au problème de la reconstruction de surface sous deux aspects : (1) l’analyse de nuages de points, et (2) la reconstruction de surface avec des informations a priori. Nous proposons d’abord une discrétisation progressive (grossier vers fin) du domaine pour les approches globales implicite, leur permettant de gérer divers défauts. Cette méthode est étendue pour être informée par des primitives détectées dans le nuage de points. Ensuite, nous présentons une approche basée sur l’apprentissage profond qui apprend à détecter et à consoli- der des points appartenant aux singularités (coins, arêtes vives) dans le nuage de points 3D. Ces points singuliers sont ensuite considérés comme une entrée supplémentaire à la méthode de re- construction progressive. Enfin, nous apportons une méthode de reconstruction variationnelle à partir de nuages de points non-orientés, tirant parti à la fois des métriques d’erreur quadra- tiques et du clustering via partitionnement variationnel. Le maillage triangulaire de sortie est concis et anisotrope, avec des sommets de maillage répartis sur les arêtes vives. En résumé, cette thèse vise à contribuer des approches efficientes pour la reconstruction de surfaces dans une perspective globale et progressive. En combinant plusieurs a priori et en prenant en compte différents critères, les méthodes proposées peuvent traiter divers défauts et détails à plusieurs échelles.

With the enthusiasm for digital twins in the fourth industrial revolution, surface reconstruction from raw 3D point clouds is increasingly needed while facing multifaceted challenges. Advanced data acquisition devices makes it possible to obtain 3D point clouds with multi-scale features. Users expect controllable surface reconstruction approaches with meaningful criteria such as preservation of sharp features or satisfactory accuracy-complexity tradeoffs.This thesis addresses these issues by contributing several approaches to the problem of surface reconstruction from defect-laden point clouds. We first propose the notion of progressive discrete domain for global implicit reconstruction approaches that refines and optimizes a discrete 3D domain in accordance to both input and output, and to user-defined criteria. Based on such a domain discretization, we devise a progressive primitive-aware surface reconstruction approach with capacity to refine the implicit function and its representation, in which the most ill-posed parts of the reconstruction problem are postponed to later stages of the reconstruction, and where the fine geometric details are resolved after discovering the topology. Secondly, we contribute a deep learning-based approach that learns to detect and consolidate sharp feature points on raw 3D point clouds, whose results can be taken as an additional input to consolidate sharp features for the previous reconstruction approach. Finally, we contribute a coarse-to-fine piecewise smooth surface reconstruction approach that proceeds by clustering quadric error metrics. This approach outputs a simplified reconstructed surface mesh, whose vertices are located on sharp features and whose connectivity is solved by a binary problem solver.In summary, this thesis seeks for effective surface reconstruction from a global and progressive perspective. By combining multiple priors and designing meaningful criteria, the contributed approaches can deal with various defects and multi-scale features.