Densification du SLAM monoculaire pour la cartographie 3D et la navigation autonome de drone

Monocular SLAM densification for 3D mapping and autonomous drone navigation

• Auteur / Autrice : Yassine Habib
• Direction : Cédric Buche
• Type : Thèse de doctorat
• Discipline(s) : Signal, image et vision
• Date : Soutenance le 15/02/2024
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et le numérique
• Partenaire(s) de recherche : Entreprise : Thales SIX/GTS France
• Partenaire(s) de recherche : Laboratoire : Equipe Robot interaction, Ambient system, Machine learning, Behaviour, Optimization - Département Informatique - Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance
• Jury : Président / Présidente : David Filliat
• Jury : Examinateurs / Examinatrices : Cédric Buche, Vincent Creuze, Eva Artusi, Cédric Demonceaux, Panagiotis Papadakis
• Jury : Rapporteurs / Rapporteuses : Vincent Creuze, Pascal Vasseur

Mots clés

Mots clés contrôlés

Robots autonomes

Intelligence artificielle

Apprentissage profond

Cartographie

Drones

Mots clés libres

Prédiction de profondeur

Cartographie métrique

Apprentissage profond

IA embarqué

Depth prediction

Metric mapping

Deep learning

Embedded AI

Résumé

Les drones aériens sont essentiels dans les missions de recherche et de sauvetage car ils permettent une reconnaissance rapide de la zone de la mission, tel qu’un bâtiment effondré. La cartographie 3D dense et métrique en temps réel est cruciale pour capturer la structure de l’environnement et permettre une navigation autonome. L’approche privilégiée pour cette tâche consiste à utiliser du SLAM (Simultaneous Localization and Mapping) à partir d’une caméra monoculaire synchronisée avec une centrale inertielle (IMU). Les algorithmes à l’état de l’art maximisent l’efficacité en triangulant un nombre minimum de points, construisant ainsi un nuage de points 3D épars. Quelques travaux traitent de la densification du SLAM monoculaire, généralement en utilisant des réseaux neuronaux profonds pour prédire une carte de profondeur dense à partir d’une seule image. La plupart ne sont pas métriques ou sont trop complexes pour être utilisés en embarqué. Dans cette thèse, nous identifions une méthode de SLAM monoculaire à l’état de l’art et l’évaluons dans des conditions difficiles pour les drones. Nous présentons une architecture fonctionnelle pour densifier le SLAM monoculaire en appliquant la prédiction de profondeur monoculaire pour construire une carte dense et métrique en voxels 3D.L’utilisation de voxels permet une construction et une maintenance efficaces de la carte par projection de rayons, et permet la fusion volumétrique multi-vues. Enfin, nous proposons une procédure de récupération d’échelle qui utilise les estimations de profondeur éparses et métriques du SLAM pour affiner les cartes de profondeur denses prédites. Notre approche a été évaluée sur des benchmarks conventionnels et montre des résultats prometteurs pour des applications pratiques.

Aerial drones are essential in search and rescue missions as they provide fast reconnaissance of the mission area, such as a collapsed building. Creating a dense and metric 3D map in real-time is crucial to capture the structure of the environment and enable autonomous navigation. The recommended approach for this task is to use Simultaneous Localization and Mapping (SLAM) from a monocular camera synchronized with an Inertial Measurement Unit (IMU). Current state-of-the-art algorithms maximize efficiency by triangulating a minimum number of points, resulting in a sparse 3D point cloud. Few works address monocular SLAM densification, typically by using deep neural networks to predict a dense depth map from a single image. Most are not metric or are too complex for use in embedded applications. In this thesis, we identify and evaluate a state of-the-art monocular SLAM baseline under challenging drone conditions. We present a practical pipeline for densifying monocular SLAM by applying monocular depth prediction to construct a dense and metric 3D voxel map. Using voxels allows the efficient construction and maintenance of the map through raycasting, and allows for volumetric multi-view fusion. Finally, we propose a scale recovery procedure that uses the sparse and metric depth estimates of SLAM to refine the predicted dense depth maps. Our approach has been evaluated on conventional benchmarks and shows promising results for practical applications.