Généralisation de domaine et détection 3D d'objets inconnus à partir de données LiDAR

LiDAR-based domain generalization and unknown 3D object detection

• Auteur / Autrice : Louis Soum-Fontez
• Direction : Jean-Emmanuel Deschaud, François Goulette
• Type : Thèse de doctorat
• Discipline(s) : Informatique temps réel, robotique et automatique - Paris
• Date : Soutenance le 10/03/2025
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique (Paris)
• Partenaire(s) de recherche : Laboratoire : Centre de robotique (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure des mines (Paris ; 1783-....)
• Jury : Président / Présidente : Sylvie, Julie Chambon
• Jury : Examinateurs / Examinatrices : Jean-Emmanuel Deschaud, François Goulette, Andreas Nüchter, Paul Checchin
• Jury : Rapporteurs / Rapporteuses : Andreas Nüchter, Paul Checchin

Mots clés

Mots clés contrôlés

Systèmes de transport intelligent

Véhicules automobiles -- Localisation automatique

Circulation -- Commandes électroniques

Véhicules autonomes

Mots clés libres

Détection d'Objets 3D

Perception LiDAR

Véhicules Autonomes

Généralisation

Détection Hors Distribution

3D Object Detection

LiDAR Perception

Autonomous Vehicles

Generalization

Out-Of-Distribution Detection

Résumé

Le développement de systèmes de perception robustes est fondamental pour assurer le fonctionnement sûr et efficace des véhicules autonomes. Ces systèmes accomplissent des tâches essentielles telles que la détection d'objets en 3D, permettant aux véhicules d'identifier et de localiser des obstacles, notamment d'autres véhicules, des piétons et divers objets présents dans leur environnement. Une détection précise est cruciale pour une prise de décision efficace et une navigation sûre dans des scénarios de conduite complexes. Cependant, la détection d'objets en 3D pose des défis importants en raison de la diversité des conditions du monde réel, qui incluent une grande variété de configurations de capteurs, d'environnements géographiques et de complexités de scènes. Premièrement, ce travail de thèse identifie et aborde les différences de domaine (domain shifts) qui surviennent entre différents jeux de données LiDAR en raison de variations dans les spécifications des capteurs, les environnements géographiques et les attributs propres à chaque jeu de données. Ces différences entraînent souvent des écarts de performance importants lors du transfert de modèles entre jeux de données. Pour pallier ces problèmes, un cadre d'entraînement multi-dataset, nommé MDT3D, est introduit. MDT3D intègre des données provenant de diverses sources et applique des techniques novatrices d'augmentation et d'harmonisation des étiquettes, permettant de créer des modèles capables de se généraliser efficacement dans des conditions variées. Deuxièmement, la thèse présente ParisLuco3D, un jeu de données capturé dans les zones urbaines autour du Jardin du Luxembourg à Paris, conçu pour tester la robustesse des modèles dans des scénarios complexes du monde réel. Ce jeu de données offre une plateforme dédiée pour évaluer la généralisation des modèles, avec des benchmarks soulignant les performances limitées des méthodes classiques de généralisation. Enfin, le dernier axe de généralisation exploré concerne la détection d'objets inconnus. Nous reformulons la détection d'objets inconnus comme un problème hors distribution (Out-Of Distribution, OOD), permettant aux modèles de différencier les objets connus des objets inédits sans compromettre la précision sur les catégories connues.

The development of robust perception systems is fundamental for the safe and efficient operation of autonomous vehicles. These systems perform essential tasks such as 3D object detection, enabling vehicles to identify and localize obstacles, including other vehicles, pedestrians, and various objects within their environment. Accurate detection is critical for effective decision-making and navigation through complex driving scenarios. However, 3D object detection presents significant challenges due to the diverse nature of real-world conditions, which encompass a broad range of sensor setups, geographic environments, and scene complexities. Firstly, this thesis work identifies and addresses the domain shifts that occur between different LiDAR datasets due to variations in sensor specifications, geographic environments, and dataset-specific attributes. These shifts often lead to significant performance gaps when models are transferred between datasets. To mitigate these issues, a multi-dataset training framework called MDT3D is introduced. MDT3D integrates data from various sources and employs novel augmentation and label harmonization techniques to create models that can generalize effectively across different conditions. Secondly, the thesis presents ParisLuco3D, a dataset captured in urban areas around the Luxembourg Garden in Paris, designed to test model robustness in complex real-world scenarios. This provides a dedicated dataset to test model generalization, which we benchmark to highlight the poor performance of baseline generalization methods. Lastly, the last axis of generalization explored is generalizing detection to novel unknown objects. We reframe the detection of unknown objects as an out-of-distribution (OOD) problem, allowing models to differentiate between known and previously unseen objects without compromising accuracy on familiar categories.