Localisation visuelle pour la surveillance à long terme des grands fonds

Visual localization for deep-sea long-term monitoring

• Auteur / Autrice : Clémentin Boittiaux
• Direction : Vincent Hugel
• Type : Thèse de doctorat
• Discipline(s) : Automatique, signal, productique, robotique
• Date : Soutenance le 14/12/2023
• Etablissement(s) : Toulon
• Ecole(s) doctorale(s) : École doctorale Mer et Sciences (Toulon ; 2012-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’Informatique et Systèmes (Marseille ; La Garde, Var ; 2018-….) - Laboratoire Conception de Systèmes mécaniques et robotiques (Toulon ; 2014-....)
• Jury : Président / Présidente : Cédric Demonceaux
• Jury : Examinateurs / Examinatrices : Torsten Sattler, Aurelien Arnaubec, Claire Dune, Ricard Pau Marxer Pinon
• Jury : Rapporteurs / Rapporteuses : Vincent Lepetit, Marie-Odile Berger

Mots clés

Mots clés contrôlés

Topographie sous-marine

Traitement d'images

Réseaux neuronaux (informatique)

Robots sous-marins

Mots clés libres

Robotique sous-marine

Vision par ordinateur

Localisation visuelle

Underwater robotics

Computer vision

Visual localization

Résumé

Cette thèse explore le problème de la localisation de véhicules sous-marins dans des environnements déjà explorés. Elle s'inscrit dans le cadre de la surveillance des grands fonds à long terme. Ainsi, l'environnement visité peut avoir subi des changements significatifs entre plusieurs visites. Traditionnellement, la localisation de véhicules sous-marins repose sur la fusion de mesures provenant de capteurs acoustiques et inertiels. Alors que ces capteurs fournissent des estimations précises de pose relatives, leurs estimations de position absolue présentent des biais importants, entraînant des décalages de position de plusieurs dizaines de mètres entre différentes plongées. Cette limitation entrave considérablement l'utilisation des véhicules sous-marins autonomes pour des tâches exigeant un haut degré de précision, telles que la cartographie de zones d'intérêt spécifiques. En réponse, cette thèse explore l'utilisation des observations visuelles faites par les véhicules sous-marins pour obtenir une localisation absolue plus précise. Le milieu sous-marin introduit diverses sources de variabilité qui sont absentes dans le domaine terrestre. Par conséquent, la première contribution de cette thèse est la création d'un nouveau jeu de données spécialement conçu pour évaluer des algorithmes de localisation visuelle à long terme dans les conditions des grands fonds océaniques. De plus, un autre défi inhérent aux images sous-marines est leur faible contraste et la perte de couleurs dus à la propagation de la lumière dans l'eau. Pour remédier à ce problème, la deuxième contribution de cette thèse présente deux nouvelles méthodes de restauration des couleurs des images sous-marines spécifiquement conçues pour atténuer ces phénomènes et restituer des images claires. Indépendamment du milieu sous-marin, la troisième contribution de cette thèse est la proposition d'une nouvelle fonction de coût, conçue pour la régression de pose de caméra dans un contexte d'applications à l'apprentissage profond. Il s'agit d'un aspect important pour l'entraînement des réseaux de neurones dédiés à la localisation visuelle. Enfin, cette thèse se termine par une évaluation de plusieurs méthodes de localisation visuelle sur le nouveau jeu de données proposé. Les résultats obtenus montrent que l'application de notre technique de restauration des couleurs d'images sous-marines améliore sensiblement les performances de localisation visuelle. Ce travail identifie également le principal problème rencontré par les méthodes de localisation visuelle sur le jeu de données sous-marin proposé, et présente une approche visant à améliorer l'efficacité des techniques de localisation visuelle en exploitant au mieux un jeu de données de taille limitée.

This thesis explores the challenge of localizing underwater vehicles within previously explored environments in long-term scenarios, where significant scene appearance changes may have occurred. Typically, underwater vehicle positioning relies on fusing measurements from acoustic and inertial sensors. While these sensors deliver precise relative pose estimations, their absolute position estimates exhibit notable biases, resulting in position offsets spanning tens of meters between different dives. This limitation impedes the practical use of autonomous underwater vehicles for tasks requiring high precision, like mapping a precise area of interest. In response, this thesis investigates the use of visual observations made by underwater vehicles to enhance absolute positioning accuracy. The underwater environment introduces unique sources of variability absent in terrestrial environments. Consequently, the first contribution of this thesis is a novel dataset designed for benchmarking long-term visual localization algorithms in deep-sea conditions. Another obstacle inherent to underwater images is that their suffer from low contrast and loss of colors because of light propagation in the water medium. To address this issue, the second contribution of this work introduces two underwater color restoration methods, specifically designed to mitigate these phenomena and recover clear images. Independent of the underwater environment, the third contribution of this thesis is a novel loss function tailored for camera pose regression within the context of deep learning applications. This is an important aspect to consider when training visual localization networks. Finally, this thesis concludes with a benchmark of several visual localization methods on the proposed dataset. The obtained results show that applying our underwater color restoration method improves visual localization performance. This work also identifies the major problem encountered by visual localization methods on the proposed underwater dataset, and presents an approach to improve the accuracy of visual localization techniques by making the most of a limited size dataset.