Résoudre l’occlusion et la faible densité à distance des nuages de points pour la détection d’objets 3D par perception collaborative

Toward Solving Occlusion and Sparsity in Deep Learning-Based 3D Object Detection through Collaborative Perception

• Auteur / Autrice : Minh Quan Dao
• Direction : Vincent Frémont, Elwan Héry
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 24/11/2023
• Etablissement(s) : Ecole centrale de Nantes
• Ecole(s) doctorale(s) : Sciences de l'ingénierie et des systèmes (Nantes Université)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Sciences du Numérique de Nantes
• Jury : Président / Présidente : Samia Ainouz
• Jury : Examinateurs / Examinatrices : Ezio Malis, Holger Caesar, Fawzi Nashashibi
• Jury : Rapporteurs / Rapporteuses : Thierry Chateau, Sergiu Nedevschi

Mots clés

Mots clés contrôlés

Reconnaissance d'objets (informatique)

Apprentissage profond

Lidar

Automobiles -- Commande automatique

Mots clés libres

Perception collaborative

V2X

Détection objets en 3D

Apprentissage profond

Collaborative perception

V2X

3D object detection

Deep learning

LiDAR

Résumé

La détection précise d’objets 3D est un enjeu majeur pour l’intégration sécurisée des véhicules autonomes dans le trafic routier. Le LiDAR, offrant des mesures de profondeur précises et relativement denses, est très présent dans les bases de données deréférence. Cependant, ses nuages de points sont clairsemés à longue distance et soumis aux occlusions. L’état de l’art propose alors des techniques de suréchantillonnage, par fusion avec des caméras ou par distillation des connaissances, afin d’obtenir de bonnes détections. La première méthode permet de reconstruire la profondeur des pixels afin de générer des points supplémentaires tandis que la seconde vise à obtenir des nuages de points imitant ceux sans occlusion ni dispersion. Comme ces approches utilisent des mesures obtenues par le véhicule ego à chaque pas de temps, la détection est inévitablement affectée par ces régions inobservables. Conscient des limites des méthodes à perspective unique, ces travaux de thèse s’efforcent à résoudre les problèmes d’occlusion et de rareté en exploitant des perspectives multiples. Notre approche exploite d’une part les mesures du véhicule ego par séquences : au cours de son déplacement dans le temps. D’autre part, nous proposons une perception collaborative basée sur la fusion des informations obtenues par de multiples agents connectés.

Detecting objects at a high precision in 3D is critical for the safety of autonomous vehicles. LiDAR measurements, presented as point clouds frequently suffer from occlusion and sparsity. Prior works address these challenges by upsampling (i) pointclouds via fusion with RGB cameras or (ii) their representations via knowledge distillation. Because these approaches are designed to use point clouds obtained only by the ego vehicle at a single timestep, they are inevitably affected by unobservable regions caused by occlusion and sparsity. Aware of the limitations of single-perspective methods, this thesis strives to resolve occlusion and sparsity by leveraging point clouds obtained from multiple perspectives to the fullest. The core of our approach ismade of two components that are respectively built on the utilization of point cloud sequences and collaborative perception via V2X communication. While the former is about using information obtained by the ego vehicle during its motion through time, the latter is based on the fusion of information obtained by multiple connected agents scattering over space.