SLAM Dynamique Auto-Supervisé : Résolution des Inversions de Consensus

Self-supervised Dynamic SLAM : Tackling Consensus Inversions

• Auteur / Autrice : Adrian Bojko
• Direction : Hervé Le Borgne, Romain Dupont, Mohamed Tamaazousti
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 07/04/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'intégration des systèmes et des technologies (Gif-sur-Yvette, Essonne ; 2001-....)
• Jury : Président / Présidente : Catherine Achard
• Jury : Examinateurs / Examinatrices : David Filliat, Samia Ainouz
• Jury : Rapporteurs / Rapporteuses : David Filliat, Samia Ainouz

Mots clés

Mots clés contrôlés

Cartographie -- Informatique

Véhicules automobiles -- Localisation automatique

Apprentissage non supervisé (intelligence artificielle)

Mots clés libres

Slam

Dynamique

Auto-supervision

Inversion de consensus de mouvement

Référentiel

Slam

Dynamic

Self-supervised

Motion consensus inversion

Frame of reference

Résumé

La capacité d'auto-localisation est essentielle pour les véhicules autonomes, les robots, la réalité mixte et plus généralement les systèmes qui interagissent avec leur environnement. Lorsqu’il n’y a pas de carte disponible, les algorithmes de SLAM (Localisation et Cartographie Simultanées) créent une carte de l'environnement et en même temps y localisent le système. Un capteur populaire est la caméra, qui a l'avantage de fournir passivement une représentation visuelle de l'environnement à faible coût, et donc celui que nous utilisons.Le SLAM en environnement dynamique, ou SLAM Dynamique, est un défi car l'algorithme doit être capable de percevoir en permanence quelles parties de l'image sont fixes par rapport au référentiel souhaité par l'utilisateur, en général le sol. Des problèmes surviennent lorsque les hypothèses sur lesquelles reposent les algorithmes SLAM deviennent invalides. Un cas remarquable est l'inversion de consensus de mouvement : lorsque la majeure partie d'une image est constituée d'objets en mouvement, l'algorithme n'utilise pas le bon référentiel, et échoue. Un autre est le masquage excessif : certains algorithmes SLAM retirent des images -- c'est-à-dire masquent -- tous les objets qui pourraient être dynamiques même s'ils ne sont pas en mouvement, et par conséquent échouent si les images deviennent vides.De façon générale, l'utilisateur peut vouloir utiliser un algorithme SLAM dans un contexte non supporté. En réalité, l'écart entre ce dont l'utilisateur a besoin et ce que font les algorithmes SLAM est significatif dans la recherche SLAM et la cause de problèmes tels que les inversions de consensus, elles-mêmes rarement présentes dans la littérature. Ainsi, au lieu de proposer un SLAM plus général, nous proposons un algorithme SLAM qui s'adapte à de nouveaux environnements grâce à un apprentissage auto-supervisé automatisé : apprendre automatiquement quelles parties d'une scène peuvent être mobiles par rapport au référentiel souhaité par l'utilisateur, et quand elles sont fixées ou non. L'utilisateur fournit des vidéos d’entraînement non annotées et notre algorithme apprend automatiquement ce qu'il faut en faire.Nous présentons d’abord l'état de l'art, les bases de données et les métriques SLAM de référence. En particulier, nous détaillons les défis du SLAM Dynamique et de l'évaluation de la robustesse. Les bases de données et métriques SLAM actuelles font partie des points bloquants, nous proposons donc les nôtres. Dans une deuxième partie, nous explorons les relations entre les points d’intérêt d’une image et les performances du SLAM, et à partir de ce travail, nous présentons un nouvel algorithme de SLAM Dynamique auto-supervisé qui apprend quels objets masquer, en utilisant les outliers SLAM. Les outliers SLAM sont des points d’intérêt rejetés au cours du processus de SLAM : nous avons observé que les outliers sur les objets en mouvement ont des propriétés uniques dans des séquences vidéo faciles et peuvent être utilisés pour apprendre automatiquement à segmenter les objets dynamiques. Enfin, nous présentons une approche auto-supervisée qui apprend quand masquer des objets : SLAM Dynamique avec Masquage Temporel. A partir d'une méthode donnée de masquage d’objet, on apprend automatiquement quand masquer les objets de certaines classes. On annote automatiquement chaque image des séquences d’entraînement avec des décisions de masquage (masquer les objets ou non), puis on apprend les circonstances qui ont mené à ces décisions avec un réseau basé mémoire.Les résultats de cette thèse montrent que le SLAM Dynamique auto-supervisé est une approche viable pour résoudre les inversions de consensus de mouvement. Plus généralement, l'auto-supervision est la clé pour qu'un SLAM s'adapte aux besoins des utilisateurs. Nous avons dépassé l'Etat de l'Art en termes de robustesse, en plus de clarifier des points aveugles de la littérature en termes d’évaluation de la robustesse des algorithmes de SLAM Dynamique.

The ability of self-localization is essential for autonomous vehicles, robots, mixed reality and more generally to systems that interact with their environment. When maps are not available, SLAM (Simultaneous Localization and Mapping) algorithms create a map of the environment and at the same time locate the system within it. A popular sensor is the camera, which has the benefit of passively providing a visual representation of the environment at a low cost, and for this reason the one we use in this thesis.SLAM in Dynamic environments, or Dynamic SLAM, is challenging as the algorithm must be able to continuously perceive what parts of the image are fixed with respect to the frame of reference the user wants, usually the ground. Problems arise when assumptions SLAM algorithms rely on become invalid. A remarkable case is the Motion Consensus Inversion (MCI): when most of an image is made of moving objects, the SLAM does not use the correct frame of reference and fails. Another one is excessive masking: some SLAM algorithms remove from images -- ie, mask -- all objects that might be dynamic even if they are not moving, and consequently fail if images become empty.More generally, the user may need to use a SLAM algorithm in an unsupported context. In fact, the gap between what the user needs and what SLAM algorithms do is a blind spot in SLAM research and the cause for issues like motion consensus inversions, which are themselves seldom seen in the literature. Hence, instead of making a more general SLAM algorithm, we propose a SLAM algorithm that adapts to new environments through automated self-supervised training: to automatically learn what parts of a scene may not be fixed with respect to the user's desired frame of reference, and when they are fixed or not. The user provides unlabeled training videos and our SLAM automatically learns what to do to from them.In the first part of this document, we present the State of the Art of algorithms for SLAM and Dynamic SLAM, reference datasets and metrics. We detail the challenges of Dynamic SLAM and robustness evaluation. Current SLAM datasets and metrics are also subject to the user need gap, so we propose our own. Our datasets are the first to explicitly include video sequences with motion consensus inversions or excessive masking and our metric is more general that the usual accuracy metrics, which are misleading in very difficult scenarios.In the second part, we explore the relation between image features and SLAM performance, and from this work we present a novel self-supervised Dynamic SLAM that learns what objects to mask, using SLAM outliers. Outliers are features rejected during the standard SLAM process: we observed that outliers on objects in motion have unique properties in easy dynamic sequences. Thus, we locate dynamic objects using outliers and learn to segment them, so we can mask dynamic objects in sequences of any difficulty at runtime.Finally, we present a self-supervised approach that learns when to mask objects: Dynamic SLAM with Temporal Masking. Leveraging an existing method to mask objects, it automatically learns when to mask objects of certain classes. It automatically annotates every frame of training sequences with masking decisions (to mask objects or not), then learn the circumstances that led to these decisions with a memory-based network. We do not make any geometrical assumption, unlike other SLAM algorithms. Using a memory-based approach prevents at runtime motion consensus inversions and excessive masking, which is hardly possible when relying on geometrical methods.The results of this thesis show that a self-supervised Dynamic SLAM is a viable approach to tackle motion consensus inversions. More generally, self-supervision is the key to have a SLAM adapt to user needs. We surpassed the State of the Art in terms of robustness, in addition to clarifying blind spots of the literature in Dynamic SLAM robustness evaluation.