De la navigation visuelle à l’analyse sémantique pour véhicules autonomes

From Visual to semantic analysis for UGV navigation

• Auteur / Autrice : Emir Hrustic
• Direction : Eric Chaumette, Damien Vivet
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 05/03/2021
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Equipe de recherche : Équipe d'accueil doctoral Signal, communication, antenne et navigation, radar (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Laboratoire : Institut supérieur de l'aéronautique et de l'espace (Toulouse, Haute-Garonne). Département électronique, optronique et signal
• Jury : Président / Présidente : Paul Checchin
• Jury : Examinateurs / Examinatrices : Eric Chaumette, Damien Vivet, Paul Checchin, Samia Ainouz
• Jury : Rapporteur / Rapporteuse : Samia Ainouz

Mots clés

Mots clés contrôlés

SLAM (langage de programmation)

Vision par ordinateur

Apprentissage profond

Mots clés libres

Vision par ordinateur

Apprentissage machine

Apprentissage profond

Slam

Navigation visuelle

Computer vision

Machine learning

Deep learning

Slam

Visual navigation

Résumé

Les travaux actuels dans le domaine de la navigation autonome s’intéressent principalement à l’étude d’algorithmes de localisation sur la base d’hybridation multi-capteurs ou d’approche de type localisation et cartographie simultanées (SLAM). Aujourd’hui des méthodes bien connues et assez fiables existent comme par exemple ORB-SLAM, SVO, PTAM. L’ensemble de ces méthodes peut être considéré comme des approches « bas niveau » dans le sens où l’interprétation de la scène reste très limitée. En effet, celle-ci est représentée par des nuages de points 3D ou au mieux des amers géométriques.Il est à noter qu’avec le machine learning et plus récemment l’engouement pour le Deep-Learning, des techniques d’analyse d’image émergent avec l’extraction d’objets statiques ou mobiles (détection de piétons, de panneaux, de marquages au sol. Ces approches restent cependant encore décorrélées de l’étape de navigation à proprement parlé. L’ambition de ce projet est d’intégrer les couches d’analyse de scène dans le cadre de la navigation autonome, à savoir intégrer les informations sémantiques dans l’étape de calcul de position. Nous souhaitons donc mettre en place une cartographie d'objets, dite sémantique, qu'ils soient routiers (panneau, feux, marquages au sol particuliers...), urbains (enseignes de magasin...) et éventuellement d’événements (accidents, travaux, déviations...). Ce type de cartographie permettra la navigation par amers visuels de haut niveau bien plus robustes dans le temps mais également plus facilement détectable en cas de variation de luminosité (jour nuit). Ce projet se situe ainsi à l’intersection de diverses thématiques : - L’apprentissage automatique, l’analyse d’image et la détection d’objets - La localisation par vision (odométrie visuelle, hybridation) - La cartographie sémantique géolocalisée (SLAM+GNSS).

Current research works in the field of autonomous navigation focus mainly in the study of localisation and mapping algorithms based on hybridization of multiple sensors. Today, some efficient technic works such as ORB-SLAM, SVO, PTAM. All these methods can be considered as « low-level » approaches as the scene understanding is very limited. Indeed the scene is represented as a 3D point cloud without any semantic information. Let’s note that with machine learning and Deep Learning, some scene analysis technics are emerging with object detection and recognition (pedestrian detection, traffic signs, zebras. Nevertheless, such approaches are still decorrelated from the navigation step. The ambition of this project is to integrate the scene analyse step in the framework of the autonomous navigation, that means to integrate semantic information in the position processing step. We aim to build a semantic urban object mapping (traffic signs, traffic lights, zebras, shops...) and event mapping (works, deviation, crashes...). Such a mapping will allow to based the navigation on high level landmarks more robust in time and in environment changing conditions (day, night, rain, fog...) This project is at the intersection of multiple fields: - Automatic machine learning, image understanding and object detection - Vision based localisation (visual odometry, hybridization) - Geolocalized semantic mapping (SLAM+GNSS).