Modélisation planaire pour un RGB-D SLAM : localisation éparse et cartographie réduite

Planar modeling for an RGB-D SLAM : sparse localisation and reduced mapping

• Auteur / Autrice : Hakim El Chaoui El Ghor
• Direction : Fakhr-Eddine Ababsa, El-Houssine Bouyakhf
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/12/2016
• Etablissement(s) : Université Paris-Saclay (ComUE) en cotutelle avec Université Mohammed V (Rabat)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Informatique, Biologie Intégrative et Systèmes Complexes (Evry, Essonne)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université d'Évry-Val-d'Essonne (1991-....)
• Jury : Président / Présidente : Mourad El Belkacemi
• Jury : Rapporteur / Rapporteuse : Michel Devy, El Hassane Ibn El Haj

Mots clés

Mots clés contrôlés

Vision par ordinateur

SLAM (langage de programmation)

Kinect

Mots clés libres

Points d’intérêt 3D planaires

Cartes 3D basée-plans

Segmentation de données 3D

Résumé

Cette thèse traite du problème de la Localisation et Cartographie Simultanées (SLAM) dans les environnements d’intérieur. Dans ce contexte, nous avons choisi un SLAM visuel en utilisant les données d’un capteur RGB-D de type Kinect pour estimer la trajectoire de la caméra et construire une carte 3D de l’environnement en temps réel. Malgré les avantages des caméras RGB-D (faible coût, images couleurs et cartes de profondeur), les données de profondeur issues de ce genre de capteur peuvent être de mauvaise qualité ce qui affecte l’estimation de la pose. En outre, la taille des nuages de points engendre une carte globale lourde et contenant de nombreux points 3D redondants. Afin de diminuer l’impact de ces faiblesses sur la résolution du SLAM, nous proposons d’utiliser des plans 3D, majoritaires dans les scènes d’intérieur, dans le processus d’estimation de poses de la caméra pour construire des cartes 3D basées-plans.Les plans 3D servent alors à générer des points d’intérêt 3D planaires moins bruités que les points bruts déduits directement des nuages de points. En rectifiant les valeurs de profondeur des points d’intérêt 3D bruts appartenant à ces plans, nous améliorons ainsi l’estimation de pose quand la scène est composée essentiellement de plans. Par la suite, les plans 3D détectés sont utilisés pour construire une carte 3D globale légère. La carte est élaborée en fusionnant itérativement les régions planaires détectées dans la scène avec celles déjà présentes dans la carte ou en ajoutant de nouveaux plans. Contrairement à la représentation classique basée point,nous réduisons ainsi la taille de la carte 3D et construisons des cartes compactes. Ces cartes sont exploitables par des applications de robotique mobile et de navigation. Pour montrer les bénéfices des travaux proposés dans cette thèse, les expérimentations réalisées évaluent la précision de la localisation, l’influence de l’échantillonnage des données RGB-D sur la détection des plans ainsi que la qualité de la carte basée-plans 3D par rapport à la scène réelle. La carte ainsi constituée de plans présente une première étape vers une carte plus sémantique.

This thesis deals with the Simultaneous Localisation and Mapping (SLAM) problem in indoor environments. In this context, we chose a visual SLAM using an RGB-D sensor (Kinect) to estimate the camera trajectory and to build a 3D map of the environment in realtime. Despite RGB-D cameras advantages (low cost, color images and depth maps), depth data resulting from this kind of sensors may be noisy, which affects pose estimation. In addition,due to points clouds sizes, the resulting global map is heavyweight and contains many redundant 3D points. In order to reduce the impact of these weaknesses on resolving the SLAM problem, we propose to use 3D planes, which are dominant in indoor scenes, for both camera poses estimations and 3D based-planes maps building process. Hence, 3D planes are used to generate 3D planar feature featuring less depth noise than the raw points extracted directly from points clouds. By regularizing depth values of raw 3D feature points belonging to these planes, we improve pose estimation when the scene is mainly composed of planes. Then, the detected 3D planes are used to build the global 3D map, creating a light representation of the environment based on these planes. The map is iteratively built from each new camera pose either by merging new planes to the existing ones or by adding new planes to the map. Thus,unlike conventional point-based representation, the size of the resulting 3D map is considerably reduced and the built map is more compact compared to point-based maps.These maps maybe used by mobile robotics and navigation applications. To show the benefits of our works, the conducted experiments to evaluate localisation accuracy, the influence of subsampled RGB-Ddata on plane detection, as well as quality of 3D plane-based maps against real scenes. Such plane-based maps represents a first step towards semantic maps.