Modélisation de scènes urbaines à partir de nuages ​​de points 3D et simulation LiDAR massive pour véhicules autonomes

Urban Scene Modeling From 3D Point Clouds and Massive LiDAR Simulation for Autonomous Vehicles

• Auteur / Autrice : Jean Pierre Richa
• Direction : François Goulette
• Type : Thèse de doctorat
• Discipline(s) : Informatique temps réel, robotique et automatique - Paris
• Date : Soutenance le 08/12/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique (Paris)
• Partenaire(s) de recherche : Laboratoire : Centre de robotique (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure des mines (Paris ; 1783-....)
• Jury : Président / Présidente : Raphaëlle Chaine
• Jury : Examinateurs / Examinatrices : François Goulette, Jean-Emmanuel Deschaud
• Jury : Rapporteurs / Rapporteuses : Giorgio Grisetti, Bruno Vallet

Mots clés

Mots clés contrôlés

Imagerie tridimensionnelle

Véhicules autonomes

Lidar

Mots clés libres

Nuage de points 3D

Simulation de LiDAR

Représentation de scène

Complétion de scène

Modélisation des scènes 3D

Reconstruction de surface

Lancer de rayons en temps réel

3D point clouds

LiDAR simulation

Scene representation

Scene completion

Scene modeling

Surface reconstruction

Real-time ray tracing

Résumé

Le développement de véhicules autonomes a suscité un intérêt accru de la part de la communauté de la recherche et de l'industrie au cours de la dernière décennie. Développer des algorithmes de véhicules autonomes nécessite de moderniser les véhicules avec plusieurs capteurs, ce qui a un coût élevé. De plus, l'exploitation et l'entretien quotidiens des véhicules augmentent encore les coûts et présentent un risque élevé pour les autres véhicules et les personnes se trouvant dans leur environnement. Le développement et les tests peuvent également être réalisés en simulant le véhicule autonome et les différents capteurs dans un environnement virtuel. Cependant, les environnements virtuels créés manuellement ne parviennent pas à se généraliser aux scènes du monde réel, en raison de l'écart de domaine qui découle des modèles trop simplifiés utilisés dans de tels environnements. Dans cette thèse, nous proposons de réduire cet écart de domaine en exploitant des scans du monde réel de scènes urbaines sous la forme de nuages de points 3D acquis à l'aide d'un capteur LiDAR monté sur un système de cartographie mobile. Pour cette raison, nous créons un nouveau jeu de données de nuage de points 3D annoté et proposons une chaîne de traitement de simulation automatique. La chaîne de traitement introduit une nouvelle représentation intermédiaire pour compléter la géométrie de la scène grâce à des architectures 3D profondes, une méthode de modélisation de scène précise basée sur du splatting adaptatif sémantique pour créer l'environnement virtuel et enfin, une méthode de simulation LiDAR en temps réel. Notre chaîne de traitement est rapide, et automatique et peut être utilisée pour augmenter le domaine des scénarios et générer des simulations massives.

The development of autonomous vehicles has seen increased interest from the research community and industry over the last decade. Developing algorithms used by autonomous vehicles requires retrofitting vehicles with multiple sensors, which has a high cost. Moreover, the vehicles daily operation and maintenance raise the cost even further and introduce a high risk on other vehicles and people in their surrounding. The development and testing can be also achieved by simulating the autonomous vehicle and the different sensors in a virtual environment. However, manually handcrafted virtual environments fail to generalize to real-world scenes, due to the domain gap that arises from the over-simplified models used in such environments. In this thesis, we propose to reduce this domain gap by leveraging real-world scans of urban scenes in the form of 3D point clouds acquired using a LiDAR sensor mounted on a mobile mapping system. Toward this end, we create a new annotated 3D point cloud dataset and propose an automatic simulation pipeline. The pipeline introduces a new intermediate representation to complete the scene geometry through deep 3D architectures, an accurate scene modeling method based on semantic adaptive splatting to create the virtual environment and finally, a real-time LiDAR simulation method. Our pipeline is fast, automatic and can be used to augment the scenarios domain and generate massive simulations.