Améliorer la reconstruction 3D avec les méthodes de RanSaC adaptatives et une génération de données semi-artificielle

Improving 3D Reconstruction using Adaptative RanSaC and Benchmarking with Semi-Artificial Data Generation

• Auteur / Autrice : Clément Riu
• Direction : Vincent Nozick, Pascal Monasse
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/12/2023
• Etablissement(s) : Université Gustave Eiffel
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009) - Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Jury : Président / Présidente : Valérie Gouet-Brunet
• Jury : Examinateurs / Examinatrices : Vincent Nozick, Pascal Monasse, Lionel Moisan, Tomas Pajdla, Agnès Desolneux
• Jury : Rapporteurs / Rapporteuses : Lionel Moisan, Tomas Pajdla

Mots clés

Mots clés contrôlés

Calcul adaptatif

Imagerie tridimensionnelle

Photographie stéréoscopique

Traitement d'images

Mots clés libres

Stéréo Multi-Vue

Reconstruction 3D

RanSaC

Calcul de pose

Generation de dataset

Traitement d'image

Multi*view stereo

3D reconstruction

RanSaC

Pose computation

Dataset generation

Image Processing

Résumé

La recherche sur les estimateurs robustes pour la reconstruction stéréo 3D est compliquée par la difficulté d’obtention de données précises pour évaluer les méthodes. La littérature sur ce sujet propose un certain nombre d’algorithmes de type RanSaC qui sont comparés les uns aux autres en utilisant soit des données entièrement artificielles, soit des données réelles estimées ce qui conduit à des conclusions peu fiables. Les travaux récents se concentrent sur les méthodes qui n’utilisent pas de seuils définis par l’utilisateur. Pour comparer efficacement ces nouveaux algorithmes, nous proposons une nouvelle méthode d’analyse. Notre première contribution est une méthode de génération de données qui s’appuie sur des données réelles pour obtenir un modèle et une distribution réalistes des données afin de créer des benchmark fiables. Nous avons ensuite utilisé cette méthode pour comparer les algorithmes adaptatifs les plus récentes sur une variété de problèmes de reconstruction stéréo et obtenir un aperçu des capacités de chaque algorithme. Sur la base de cette analyse, nous avons essayé d’améliorer ColMap en utilisant des méthodes adaptatives. Enfin, nous fournissons la base de code complète utilisée pour générer les benchmarks, avec toutes les méthodes testées dans un framework unifié. Cela inclut une implémentation d’un algorithme utilisant le Test de Rapport de Vraisemblance qui n’avait pas été mise à disposition par les auteurs originaux

Research around Robust Estimator in the context of 3D Stereo Reconstruction is complicated by the difficulty to obtain reliable Ground Truth data. The literature around this subject proposes a number of RanSaC like algorithms that are compared to each other using either fully artificial data or estimated real data which leads to unreliable conclusions. Recent work focuses on methods that do not use user-defined thresholds which require strong hypothesis on the data distribution. To efficiently compare this new methods we propose a new benchmarking solution that will help leveraging recent work to improve the State of the Art. Our first contribution is a novel data generation method that relies on real data to obtain a realistic model and distribution of data points to create reliable benchmarks with precise metrics. We then used this method to compare most recent adaptative methods on a variety of Multi-View Stereo (MVS) and Structure-from-Motion(SfM) problems and obtain insight in the capabilities of each algorithm. Using these conclusions, we tried to improve ColMap using user-set-threshold-free methods. Finally, we provide the complete code base used to generate the benchmarks, with all tested methodsin a unified framework. This includes an implementation of an algorithm making use of Likelihood Ratio Tests which had not been made available by the original authors