Compréhension de scènes urbaines 3D par analyse de données LiDAR, colorées et hyperspectrales

3D urban scene understanding by analysis of LiDAR, color and hyperspectral data

• Auteur / Autrice : David Duque-Arias
• Direction : Beatriz Marcotegui, Jean-Emmanuel Deschaud
• Type : Thèse de doctorat
• Discipline(s) : Morphologie mathématique
• Date : Soutenance le 28/10/2021
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure des mines (Paris ; 1783-....)
• Partenaire(s) de recherche : Laboratoire : Centre de morphologie mathématique (Fontainebleau, Seine et Marne)
• Jury : Président / Présidente : Pascal Monasse
• Jury : Examinateurs / Examinatrices : Beatriz Marcotegui, Jean-Emmanuel Deschaud, Paul Checchin, Santiago Velasco-Forero
• Jury : Rapporteurs / Rapporteuses : Andreas Nüchter, Sébastien Lefèvre

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Apprentissage profond

Mots clés libres

Nuages de points

Apprentissage profond

Fonctions de perte

Représentation d’images

Segmentation sémantique

Images hyperspectrales

Traitement d'images

Point clouds

Deep learning

Loss functions

Image representation

Semantic segmentation

Hyperspectral images

Image processing

Résumé

Les nuages de points ont suscité l'intérêt de la communauté de recherche au cours des dernières années. Au départ, ils étaient surtout utilisés pour des applications de télédétection. Plus récemment, grâce au développement de capteurs à faible coût et à la publication de plusieurs bibliothèques open source, ils sont devenus très populaires et ont été appliqués à un plus grand nombre d'applications. L'une d'entre elles est la voiture autonome, pour lequel de nombreux efforts ont été déployés au cours du siècle dernier pour le rendre réel. L'évaluation des algorithmes proposés constitue aujourd'hui un goulot d'étranglement très important pour la voiture autonome. En raison du grand nombre de scénarios possibles, il n'est pas possible de l'effectuer dans la vie réelle. Une alternative consiste à simuler des environnements virtuels où toutes les configurations possibles peuvent être établies à l'avance. Cependant, ces environnements ne sont pas aussi réalistes que le monde réel. Dans cette thèse, nous avons étudié la pertinence d'inclure des images hyperspectrales dans la création de nouveaux environnements virtuels. De plus, nous avons proposé de nouvelles méthodes pour améliorer la compréhension des scènes 3D pour la voiture autonome.

Point clouds have attracted the interest of the research community over the last years. Initially, they were mostly used for remote sensing applications. More recently, thanks to the development of low-cost sensors and the publication of some opensource libraries, they have become very popular and have been applied to a wider range of applications. One of them is the autonomous vehicle where many efforts have been made in the last century to make it real. A very important bottleneck nowadays for the autonomous vehicle is the evaluation of the proposed algorithms. Due to the huge number of possible scenarios, it is not feasible to perform it in real life. An alternative is to simulate virtual environments where all possible configurations can be set up beforehand. However, they are not as realistic as the real world is. In this thesis, we studied the pertinence of including hyperspectral images in the creation of new virtual environments. Furthermore, we proposed new methods to improve 3D scene understanding for autonomous vehicles.