Navigation visuelle pour l'exploration de cavités volcaniques extraterrestres

Vision based navigation for extra terrestrial lava tubes exploration

• Auteur / Autrice : César Debeunne
• Direction : Damien Vivet
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 25/11/2024
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Equipe de recherche : Équipe d'accueil doctoral Signal, communication, antenne et navigation, radar (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Laboratoire : Institut supérieur de l'aéronautique et de l'espace (Toulouse, Haute-Garonne). Département électronique, optronique et signal
• Jury : Président / Présidente : Olivier Stasse
• Jury : Examinateurs / Examinatrices : Damien Vivet, Teresa Vidal-Calleja, Vincent Frémont, Romuald Aufrère
• Jury : Rapporteurs / Rapporteuses : Teresa Vidal-Calleja, Vincent Frémont

Mots clés

Mots clés contrôlés

Cartes lunaires

Navigation (astronautique)

Vision artificielle (robotique)

Robotique

Mots clés libres

Navigation

Vision

Robotique

Slam

Navigation

Vision

Robotic

Slam

Résumé

L’étude des tunnels de lave sur la Lune et sur Mars révèle que ces artefacts géologiques peuvent servir d’abris à de potentielles installations humaines. L’exploration robotique des ces cavités est nécessaire pour confirmer ces hypothèses et ouvrir la voie à une hypothétique base lunaire. L’estimation d’état en environnement souterrain se révèle cependant compliquée, surtout lorsqu’on prend en compte les contraintes imposées par le matériel spatial. Nous proposons dans cette thèse, d’étudier une méthode de navigation basée sur la vision pour assurer l’autonomie de tels robots.Les missions MER et MSL reposent déjà en partie sur la navigation visuelle. Mais pour satisfaire les contraintes imposées par les calculateurs des rovers, les méthodes utilisées sont plus simples que l’état de l’art implémenté sur les robots terrestres. En particulier, en absence de signal GPS, la robotique terrestre utilise des algorithmes de cartographie et de localisation simultanée (SLAM). Ces derniers peuvent être basés sur du filtrage ou sur de l’optimisation. De nos jours, l’état de l’art en SLAM visuel est basé optimisation au travers du formalisme graphe de facteurs. Nous proposons d’étudier l’implémentation d’un SLAM visuel basé graphe de facteurs respectant les contraintes spatiales et assurant une navigation robuste en environnement souterrain.La solution que nous proposons extrait des points saillants dans l’image courante. Ces points peuvent être associés dans l’image suivante en utilisant des descripteurs locaux ou grâce au flux optique. Une fois les points associés sur au moins deux images, ils peuvent être triangulés pour former une carte métrique. Cette carte peut être utilisée pour la localisation et elle est raffinée à chaque nouvelle image d’intérêt en minimisant l’erreur de reprojection des points triangulés. Un tel algorithme repose sur des briques algorithmiques qui peuvent prendre des formes variées (type de points saillants, descripteurs, méthode d’association, modèle de caméra …). Nous proposons d’étudier individuellement certaines de ces méthodes pour converger vers une solution adaptée à notre contexte. Pour cela, nous avons utilisé un jeu de données publique enregistré dans une grotte, utilisant une matrice LED pour illuminer la scène. Un tel contexte n’est pas idéal pour le SLAM visuel (surexposition, sous exposition, faible texture …), ce qui nous a incité à entamer cette démarche empirique pour développer notre SLAM visuel.Une fois cette solution naïve développée, nous avons cherché à la robustifier en étudiant plus en détail le graphe de facteur. Pour limiter la charge de calcul, la carte que nous utilisons est une carte locale. Elle ne comporte qu’un nombre fixé de poses et d’amers. Lorsque ce nombre est atteint, nous marginalisons les variables en trop et ceci mène à des corrélations supplémentaires dans le problème de SLAM. Il se densifie et demande donc plus de calculs pour être optimisé. Nous avons donc développé une méthode pour rendre le problème parcimonieux en réduisant les corrélations introduites par la marginalisation à celles qui apportent le plus d’information. Ceci accélère la résolution du problème de SLAM et nous a permis d’atteindre des performances de l’état de l’art à un coup de calcul moindre. Mais la navigation visuelle seule ne permet pas d’observer la direction de la gravité, qui est nécessaire pour identifier des obstacles verticaux. Nous avons étendu la solution proposée à un SLAM visuel inertiel pour rendre cette variable observable. Enfin, pour assurer une navigation fiable, nous avons développé une méthode de reconstruction 3D dense basée sur la carte estimée par notre SLAM. Celle-ci est basée sur la génération d’un mesh 3D en projetant, pour chaque image clé, une triangulation 2D des points saillants. Le modèle 3D obtenu a pu être utilisé pour estimer la traversabilité des environs du robot, une donnée indispensable pour la planification automatique de trajectoire.

The study of lava tunnels on the Moon and Mars reveals that these geological artifacts could serve as shelters for potential human settlements. Robotic exploration of these cavities is needed to confirm these hypotheses and pave the way for a hypothetical lunar base. However, estimating state in an underground environment is complicated, especially when the constraints imposed by space hardware are taken into account. In this thesis, we propose to study a vision-based navigation method to ensure the autonomy of such robots.The MER and MSL missions already rely in part on visual navigation. But to meet the constraints imposed by the rovers' computers, the methods used are simpler than the state of the art implemented on terrestrial robots. In particular, in the absence of a GPS signal, terrestrial robotics use simultaneous localization and mapping algorithms (SLAM). These can be based on filtering or optimisation. Today, the state of the art in visual SLAM is optimisation-based through the factor graph formalism. We propose to study the implementation of a visual SLAM based on factor graphs that respects spatial constraints and ensures robust navigation in an underground environment.Our proposed solution extracts salient points in the current image. These points can be associated in the next image using local descriptors or optical flow. Once the points have been associated in at least two images, they can be triangulated to form a metric map. This map can be used for localisation and is refined with each new image of interest by minimizing the reprojection error of the triangulated points. Such an algorithm relies on algorithmic blocks that can take various forms (type of salient points, descriptors, association method, camera model, etc.). We propose to study some of these methods individually in order to converge on a solution suited to our context. To do this, we used a public dataset recorded in a cave, using an LED array to illuminate the scene. Such a context is not ideal for visual SLAM (overexposure, underexposure, low texture, etc.), which prompted us to take this empirical approach to developing our visual SLAM.Once this naive solution had been developed, we sought to make it more robust by studying the factor graph in more detail. To limit the computational load, we use a local map. It contains only a fixed number of poses and landmarks. When this number is reached, we marginalize the oldest variables and this leads to additional correlations in the SLAM problem. It becomes denser and therefore requires more calculations to be optimized. We have therefore developed a method for making the problem sparse by reducing the correlations introduced by marginalization to those that provide the most information. This speeds up the resolution of the SLAM problem and has enabled us to achieve state-of-the-art performance at a lower computational cost. However, visual navigation alone does not allow us to observe the direction of gravity, which is necessary for identifying vertical obstacles. We have extended the proposed solution to a visual inertial SLAM to make this variable observable. Finally, to ensure reliable navigation, we have developed a dense 3D reconstruction method based on the map estimated by our SLAM. This relies on the generation of a 3D mesh by projecting, for each keyframe, a 2D triangulation of the salient points. The resulting 3D model can be used to estimate the traversability of the robot's surroundings, which is essential for automatic trajectory planning.