Méthode combinée pour la cartographie et localisation simultanées monoculaire

A Mixed Method for Monocular Simultaneous Localization and Mapping

• Auteur / Autrice : Liza Belos
• Direction : Eva Dokladalova, Pascal Monasse
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/02/2023
• Etablissement(s) : Université Gustave Eiffel
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009) - Laboratoire d'informatique de l'Institut Gaspard Monge
• Jury : Examinateurs / Examinatrices : Cédric Demonceaux, Antoine Manzanera, Beatriz Marcotegui, Raouf Ben-Jemaa, Jean-Philippe Tarel, Guillaume Bourmaud
• Jury : Rapporteurs / Rapporteuses : Cédric Demonceaux, Antoine Manzanera

Mots clés

Mots clés contrôlés

SLAM (langage de programmation)

Géométrie algorithmique

Cartographie radar

Lidar

Mots clés libres

Optimisation

Slam

Géométrie algorithmique

Localisation

Temps réel

Optimization

Slam

Computational Geometry

Localization

Real time

Résumé

Les algorithmes de localisation et cartographie visuelles simultanées (SLAM) estiment en temps réel la pose d'une caméra à partir de son flux vidéo continu, tout en faisant une reconstruction 3D de la scène. Nous nous intéressons aux méthodes de SLAM qui n'utilisent qu'une caméra monoculaire et aucun autre capteur. Ces méthodes de SLAM sont utiles à des applications de réalité augmentée, ou de drones autonomes. Les recherches récentes dans le domaine du SLAM monoculaires ont réussi à considérablement réduire l'erreur globale. Cependant, les méthodes SLAM actuelles ne sont pas assez robustes et assez précises pour des applications telles que celles citées plus haut. En effet, les méthodes actuelles échouent sur certains types de vidéos, et produisent une dérive de l’estimation de la pose. Il existe deux catégories principales de méthodes SLAM : directe et indirecte. Les méthodes directes utilisent le flux optique de la vidéo pour estimer la pose de la caméra et la reconstruction 3D. Elles produisent des nuages de points 3D précis, mais beaucoup de dérive quand le flux optique entre les images consécutives de la vidéo est élevé.Les méthodes indirectes font correspondre des points 2D sur les images de la vidéo pour estimer la pose de la caméra et effectuer la reconstruction 3D. Ainsi, les méthodes indirectes ne sont pas sensibles au flux optique élevé. Néanmoins, ils sont sensibles aux textures répétitives, qui peuvent faire échouer le SLAM. MOD SLAM est une nouvelle méthode de SLAM qui combine les méthodes indirectes et directes afin de bénéficier des avantages des deux. Elle s'appuie sur la carte généralisée, une structure de données munie d'un ensemble d'opérateurs. Ces opérateurs assurent la cohérence des informations indirectes et directes, et utilisent des algorithmes efficaces réduisant le coût d'implémentation du SLAM.À chaque étape, MOD SLAM exécute la méthode qu’il estime, produira le moins de dérive. Comme MOD SLAM n'exécute pas les deux méthodes à chaque étape, elle est compétitive en temps de calcul avec l'état de l'art, et peut fonctionner à 20 images par seconde sur les téléphones Android haute gamme. Ce manuscrit présente en détail les méthodes de SLAM monoculaire de la littérature. Nous développons la carte généralisée et expliquons MOD SLAM en détail. Une analyse fine de l'impact du système de décision de MOD SLAM est présentée, afin de démontrer l’impact de celui-ci. Nous concluions en montrant que nous avons créé une méthode SLAM combinant les principes des algorithmes directs et indirects, réussissant à finir 100% des séquences des bases de données populaires, tout en augmentant la précision des méthodes de pointe

From the continuous image flow of a camera, Visual Simultaneous Localization and Mapping (SLAM) keeps track of the pose of this camera while making a 3D reconstruction, both in real-time. For maximal generality, this thesis focuses on SLAM methods that use only a monocular camera and no other sensors for augmented reality, autonomous drones, or autonomous driving.Recent SLAM pipelines significantly reduced the overall error. However, they are not robust and accurate enough for many applications. The produced drift is still high, and the existing algorithms do not succeed in tracking the camera in some videos. Two main categories of SLAM methods exist: direct and indirect.Direct methods use the optical flow of the video to estimate the pose and do the 3D reconstruction. They can reconstruct 3D point clouds which are highly accurate. However, they produce a lot of drift on high optical flow videos. Indirect methods use feature matching to estimate the pose and do the 3D reconstruction. Unlike direct methods, indirect methods can accurately track high optical flow video. On the other hand, these methods are sensitive to repetitive texture or high light change. This manuscript presents a new SLAM method, which mixes indirect and direct methodologies, to benefit from the advantages of both.It relies on the generalized map, a data structure with a set of operators ensuring consistency and coherence of information between indirect and direct algorithms. The operators implement efficient algorithms that do not slow the SLAM's execution.MOD SLAM is a mixed direct and indirect SLAM made on top of the generalized map. At each step, MOD SLAM predicts which direct or indirect pipeline method will produce the lowest error. MOD SLAM does not execute both methods at each step but instead chooses which to execute. Consequently, MOD SLAM presents a competitive running time compared to the state-of-the-art methods, while increasing robustness and accuracy. This manuscript presents in detail the state-of-the-art of Monocular SLAM. We develop our contribution, starting with the generalized map. We detail the MOD SLAM method, and present an analysis of the impact of the MOD SLAM decision system.To conclude, we show that MOD~SLAM can run on 100% of the KITTI and TUM sequences. It increases the precision compared to the start-of-the-art methods while running at 20fps on high-end Android phones