Suivi multi-objets et analyse contextuelle de trajectoires pour améliorer la prise de décision des systèmes d'aide à la conduite

Multi-object tracking and contextual analysis of trajectories for improving decision-making in driver assistance systems

• Auteur / Autrice : Oumaima Skalli
• Direction : Sergio Rodriguez
• Type : Projet de thèse
• Discipline(s) : Robotique
• Date : Inscription en doctorat le 15/07/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Systèmes et Applications des Technologies de l'Information et de l'Energie
• Partenaire(s) de recherche : Equipe de recherche : MOSS - Méthodes et outils pour les Signaux et Systèmes
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Perception basée sur des algorithmes d'intelligence artificielle

Fusion de données

Adéquation Algorithme - Architecture

Système embarqué de perception multimodale

Hardware-software codesing

Embedded multimodal perception system

Data fusion

Perception based on artificial intelligence algorithms

Résumé

L'objectif de cette thèse est de définir un système de suivi multi-objets et de caractériser les diverses sorties requises pour les ADAS. Cette caractérisation sera structurée sur les volets fonctionnels (i.e. algorithme d'analyse de scène) et matériels (i.e. architecture de calcul). Cette étude couvrira notamment deux enjeux scientifiques majeurs : i) la conception d'un système embarqué d'analyse de scène dynamique et ii) la conception d'une architecture de calcul adéquate qui répond aux contraintes applicatives de l'analyse de scène pour les véhicules autonomes. Nous nous intéresserons particulièrement aux approches de suivi multi-objets et d'analyse de scènes dynamiques basées sur l'IA. Ces approches pourront s'adapter aux scénarios cibles qui seront définis et validés par des bases de données collectées par un véhicule prototype. L'identification de l'approche algorithmique adéquate sera faite à l'issue d'une étude bibliographique et d'une évaluation en utilisant des bases de données accessibles. L'étude du système de suivi multi-objets s'intéressera également aux différentes modalités de perception (e.g. vision, LiDAR) pouvant constituer une source d'information. La complexité de l'approche identifiée et ses variantes devront être étudiés afin d'obtenir leur découpage fonctionnel. Celui-ci permettra d'entamer le cycle d'adéquation à une architecture de calcul et de converger vers la conception d'un système de suivi multi-objets. Les modifications et les optimisations algorithmiques nécessaires seront orientées par des critères de performance relatifs à la précision (Multiple Object Tracking Accuracy, MOTA / Multiple Objects Tracking Precision, MOTP) et au temps de traitement. Le projet de thèse s'achèvera par la mise en œuvre d'un prototype de la solution étudiée, son évaluation et validation à l'aide des données réelles collectées.

The objective of this thesis is to define a multi-object tracking system and to characterize the outputs required for ADAS. This characterization will be structured on functional (i.e. scene analysis algorithm) and hardware (i.e. calculation architecture) aspects. This study will notably address two major scientific issues: i) the design of a dynamic scene analysis embedded system and ii) the design of an adequate processing architecture that meets the application constraints of scene analysis for vehicles autonomous. We will be particularly interested in multi-object tracking and dynamic scene analysis approaches based on AI. These approaches will be adapted to target scenarios, that will be defined and validated using databases collected by a prototype vehicle. The identification of the appropriate algorithmic approach will be made following a bibliographic study and an evaluation using accessible databases. The study of the multi-object tracking system will also focus on the different modalities of perception (e.g. vision, LiDAR) that can constitute a source of information. The complexity of the identified approach and its variants will have to be studied to obtain their functional breakdown. This will make it possible to proceed to a mapping on a processing architecture and to converge towards the design of a multi-object tracking system. The necessary algorithmic modifications and optimizations will be guided by performance criteria related to precision (Multiple Object Tracking Accuracy, MOTA / Multiple Objects Tracking Precision, MOTP) and processing time. The thesis project will end with the implementation of a prototype of the solution studied, its evaluation, and validation using real data collected.