Contributions à la reconnaissance de véhicules dans des grilles d’occupation pour un système de perception embarqué

Contributions to vehicle recognition in occupancy grids for an embedded perception system

• Auteur / Autrice : Nils Defauw
• Direction : Suzanne Lesecq, Olivier Antoni, Tiana Rakotovao Andriamahefa, Marielle Malfante
• Type : Thèse de doctorat
• Discipline(s) : Automatique et productique
• Date : Soutenance le 08/03/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : CEA Tech
• Jury : Président / Présidente : Didier Georges
• Jury : Examinateurs / Examinatrices : Éric Nassor
• Jury : Rapporteurs / Rapporteuses : Olivier Berder, Luc Jaulin

Mots clés

Mots clés contrôlés

Robots mobiles

Systèmes embarqués (informatique)

Apprentissage profond

Véhicules autonomes

Mots clés libres

Véhicule

Grille d'occupation

Détection

Segmentation

Embarqué

Perception

Vehicle

Occupancy grid

Detection

Segmentation

Embedded

Perception

Résumé

Ce manuscrit de thèse de doctorat présente les travaux réalisés durant trois ans sur le sujet de la reconnaissance des véhicules présents dans la scène à partir du modèle d'environnement de la grille d'occupation bidimensionnelle. Ce sujet s'inscrit dans le contexte du véhicule autonome et constitue une étape importante du système de perception permettant à un véhicule de créer une représentation interne de son environnement qui sera ensuite utilisée afin de prendre des décisions de navigation adaptées. La contrainte inhérente aux véhicules autonomes d'exécution en temps réel des algorithmes développés est spécialement adressée par la recherche des méthodes les plus économiques en termes de coûts calculatoire et mémoire.Trois contributions principales sont présentées dans ce manuscrit. La première consiste en la création d'un jeu de données de grilles d'occupation annotées avec les positions et dimensions des véhicules présents. Cette première contribution est un prérequis aux méthodes d'apprentissage profond de reconnaissance des véhicules proposées en deuxième et troisième contributions. La deuxième contribution est l'étude de différents modèles de réseaux de neurones convolutifs inspirés de l'état de l'art en détection d'objets sur images afin de détecter les véhicules présents dans des grilles d'occupation via la prédiction de boîtes englobantes orientées. La dernière contribution est la proposition d'une nouvelle approche de réduction de la dimensionnalité des grilles d'occupation via leur transformation vers le domaine fréquentiel ainsi que la proposition d'une architecture neuronale de segmentation des véhicules présents dans les grilles d'occupation à partir de cette représentation de faible dimension.Les différentes méthodes de reconnaissance de véhicules proposées sont évaluées selon la qualité des résultats prédits et les coûts calculatoires de prédiction qui sont matérialisés par le temps de prédiction par grille d'occupation ainsi que le coût en mémoire de chaque prédiction. La première approche inspirée de réseaux de neurones convolutifs utilisés pour la détection d'objets sur images permet de valider l'utilisation de grilles d'occupation comme modèle d'environnement suffisamment riche pour permettre la reconnaissance des véhicules présents dans l'environnement. Cette première approche permet en effet la détection de la majorité des véhicules tout en maintenant un temps de prédiction faible compris entre 10ms et 100ms par grille d'occupation sur le GPU mobile utilisé durant ces expériences. La deuxième approche de reconnaissance de véhicules à l'aide d'une segmentation de grille d'occupation opérée dans le domaine fréquentiel offre quant à elle de nouvelles perspectives de reconnaissance d'objets. Cette dernière offre en effet des segmentations de qualité pour des coûts calculatoires entièrement paramétrables, mais généralement réduits d'un facteur dix par rapport aux méthodes convolutives de la première approche. Par ailleurs, cette nouvelle approche pourrait être utilisée plus globalement pour la segmentation d'images et ouvre de nouvelles perspectives de recherche par sa proposition de réseaux de neurones opérant dans le domaine fréquentiel.

This PhD thesis manuscript presents the work carried out over a three-year period on the subject of recognizing vehicles present in the scene from the two-dimensional occupancy grid environment model. This subject takes place in the autonomous vehicle context, and represents an important step in the perception system enabling a vehicle to create an internal representation of its environment, which is then used to make appropriate navigation decisions. The constraint inherent to autonomous vehicles of real-time execution of the algorithms developed is specifically addressed by the search for the most economical methods in terms of computational and memory costs.Three main contributions are presented in this manuscript. The first is the creation of a dataset of occupancy grids annotated with the positions and dimensions of the vehicles present in the scene. This first contribution is a prerequisite for the deep learning methods for vehicle recognition proposed in the second and third contributions. The second contribution is a study of different convolutional neural network models inspired by state of the art models for image-based object detection to detect vehicles present in occupancy grids via oriented bounding boxes prediction. The final contribution is the proposal of a new approach for reducing the dimensionality of occupancy grids via their transformation to the frequency domain, and the proposal of a neural architecture for segmenting vehicles present in occupancy grids from this low-dimensional representation.The different vehicle recognition methods proposed are evaluated according to the quality of the predicted results and the computational costs of prediction, which are materialized by the prediction time per occupancy grid and the memory cost of each prediction. The first approach, inspired by convolutional neural networks used for object detection on images, validates the use of occupancy grids as a sufficiently rich environment model to enable recognition of vehicles present in the environment. This first approach enables the detection of the majority of vehicles while maintaining a low prediction time of 10ms to 100ms per occupancy grid on the mobile GPU used during these experiments. The second vehicle recognition approach, based on frequency-domain segmentation of occupancy grids, offers new perspectives on object recognition. This approach offers high-quality segmentations at fully parameterizable computational costs, which are generally reduced by a factor of ten compared with the convolutional methods of the first approach. In addition, this new approach could be used more generally for image segmentation, and opens up new research prospects by proposing neural networks operating in the frequency domain.