Généralisation de domaine pour la segmentation sémantique de données LiDAR pour le véhicule autonome

Domain generalization for the semantic segmentation of LiDAR data for autonomous vehicles

• Auteur / Autrice : Jules Sanchez
• Direction : François Goulette
• Type : Thèse de doctorat
• Discipline(s) : Informatique temps réel, robotique et automatique - Paris
• Date : Soutenance le 05/12/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique (Paris)
• Partenaire(s) de recherche : Laboratoire : Centre de robotique (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure des mines (Paris ; 1783-....)
• Jury : Président / Présidente : Raphaëlle Chaine
• Jury : Examinateurs / Examinatrices : François Goulette, Loïc Landrieu, Paul Checchin, Jean-Emmanuel Deschaud
• Jury : Rapporteurs / Rapporteuses : Loïc Landrieu, Paul Checchin

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Automobiles -- Commande automatique

Lidar

Systèmes de transport intelligent

Mots clés libres

Nuage de points

Segmentation sémantique

Généralisation de domaine

Segmentation d'objet mobile

Point clouds

Semantic segmentation

Domain generalization

Moving object segmentation

Résumé

La perception LiDAR pour le véhicule autonome a atteint des résultats convenables sur les différents benchmarks enligne dans le cadre monodomaine, c'est-à-dire quand le domaine d'entraînement est le même que celui d'évaluation. Apartir de là, les champs de recherche se sont diversifiés et orientés vers les questions de transférabilité, de robustesseet de généralisation.Ce travail se concentre sur les questions de généralisation pour la segmentation sémantique LiDAR. Un panorama globaldes performances de généralisation monosource et multisource des méthodes de segmentation existantes est réalisé.Pour mener équitablement ces expériences, un jeu de données, ParisLuco3D, est créé spécifiquement pour évaluer lagénéralisation.De plus, une nouvelle méthode de généralisation de domaine monosource, 3DLabelProp, est proposée. Cette méthodese distingue des stratégies existantes en exploitant la géométrie des données pour effectuer de l'alignement de domaineplutôt que des stratégies par apprentissage. Au-delà de la segmentation sémantique, 3DLabelProp est aussi appliquée àla tâche de segmentation d'objets mobiles.

LiDAR-based perception for autonomous vehicles has reached statisfying performance on the various online monodomainbenchmarks, i.e when the training and evaluation domains are the same. From there, research areas diversified andfocused on the transferability of perception models, their robstuness and their generalization capabilities.This work tackles domain generalization of LiDAR semantic segmentation. An in-depth benchmark of the mono- andmulti-source generalization abilities of various state-of-the-art semantic segmentation models is proposed. In order toprovide meaningful analysis and conclusions, a generalization-oriented dataset is provided, ParisLuco3D.Furthermore, a novel mono-source domain generalization method, 3DLabelProp, is presented. This method seperatesitself from existing approaches by exploiting geometric information to achieve domain alignment instead of focusing onlearning-based domain alignement. Besides semantic segmentation, 3DLabelProp is also applied to moving object segmentation