L'analyse temps-réel de scènes complexes de trafic routier, en vue de la prédiction de comportements et et de la caractérisation de situation dangereuses

Real-time analysis of complex traffic situations by predicting behaviors and characterizing dangerous situations

• Auteur / Autrice : Rabbia Asghar
• Direction : Anne Spalanzani, Christian Laugier
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/01/2022
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Institut National de Recherche en Informatique et en Automatique

Mots clés

Mots clés libres

Compréhension de la scène

Deep Learning

Prédiction du comportement

Conscience situationnelle

Situational awareness

Behavior prediction

Deep learning

Scene understanding

Résumé

La modélisation précise d'environnements dynamiques complexes est une tâche difficile dans le domaine de la robotique mobile et des véhicules autonomes. Un véhicule autonome (VA) doit être conscient de son environnement et être capable de prédire l'évolution de la situation du trafic en temps réel. Cela devient encore plus critique dans le cas de scènes de trafic complexes (par exemple, les intersections, les ronds-points) où les véhicules et les piétons sont sujets à des conflits et même à des accidents. Au cours des dernières années, les approches de perception bayésienne et les méthodes basées sur l'intelligence artificielle (IA) ont fait des progrès significatifs, mais l'analyse en temps réel de situations de trafic complexes fait partie des nombreux défis importants qui restent à relever. L'objectif principal de cette thèse est de proposer une analyse en temps réel de situations de trafic complexes en prédisant/caractérisant les comportements anormaux et les situations dangereuses. Les objectifs seront réalisés en combinant la perception bayésienne, d'autres approches d'IA, et des données fournies par de multiples capteurs, disponibles à bord du véhicule autonome et/ou provenant de la communication avec l'infrastructure. Les principales composantes d'un tel cadre de conduite autonome basé sur l'IA sont les suivantes : compréhension de la scène basée sur la sémantique et la grille d'occupation dynamique, prédiction des comportements et des interactions dans des scènes de trafic complexes, et caractérisation des situations dangereuses. De nombreuses approches conventionnelles abordent la prédiction de scènes comme la prédiction du comportement des véhicules et/ou des piétons. Les différentes approches comprennent des modèles de mouvement basés sur la physique, le motif ou le contexte. Nous abordons le problème de la prédiction de scènes de trafic basée sur des cartes d'occupation dynamique (DOGM) dans des scénarios de conduite urbaine où un véhicule dynamique rencontre fréquemment des intersections, des passages pour piétons et éventuellement des ronds-points. L'étude se concentrera sur l'interaction entre les différents agents du trafic, et prendra en compte la sémantique de la dynamique et la carte de l'environnement. La sémantique inclura les véhicules et les usagers vulnérables de la route. Des approches basées sur les données seront envisagées pour capturer les interactions complexes. Les méthodes seront testées avec des ensembles de données qui se concentrent sur l'interaction des scènes de trafic, comme nuScene et/ou Argoverse. Cette recherche sera poursuivie pour détecter les comportements anormaux dans des scénarios de trafic complexes qui peuvent conduire à des situations dangereuses. La prédiction à long terme contribuera à la modélisation proactive des conflits et à la prévision des accidents. Différentes approches peuvent être proposées pour déclencher un système d'alerte en cas de prévision d'accidents ou pour proposer une planification des mouvements afin d'éviter les collisions ou une manœuvre d'atténuation pour les éviter. L'étude ne se concentrera pas seulement sur la conception et le développement de nouvelles approches, mais aussi sur leur validation sur la plateforme du véhicule autonome, le travail de recherche et d'ingénierie allant de pair. Le travail développé sera implémenté sur GPU Nvidia pour répondre aux contraintes de temps réel.

Accurate modeling of complex dynamic environments is a challenging task in the field of mobile robotics and autonomous vehicles. An autonomous vehicle(AV) must be aware of its surroundings as well as be able to predict the evolution of the traffic situation in real-time. This becomes even more critical in case of complex traffic scenes (e.g. intersections, roundabouts) where vehicles and pedestrians are prone to conflicts and even accidents. In the past few years, Bayesian Perception approaches and Artificial Intelligent (AI) based methods have shown significant progress, however real-time analysis of complex traffic situations is among the many important challenges that are still to be overcome. The main objective of this thesis is to propose a Real-time analysis of complex traffic situations by Predicting/Characterizing Abnormal Behaviors and Dangerous Situations. The objectives will be carried out by combining Bayesian Perception, other AI approaches, and data provided by multiple sensors, available on-board autonomous vehicle and/or from communication with infrastructure. The main components of such an AI based Autonomous Driving framework are the following: scene understanding based on semantics and dynamic occupancy grid, prediction of behaviors and interactions in complex traffic scenes, and characterization of dangerous situations. Many conventional approaches address scene prediction as vehicles and/or pedestrian behavior prediction. The various approaches include motion models based on physics, pattern or context. We address the problem of Dynamic Occupancy Grid Maps (DOGM) based Traffic Scene Prediction in urban driving scenarios where a dynamic vehicle frequently comes across intersections, crosswalks and possibly roundabouts. The study will focus on interaction between different traffic agents, and take into account semantics of the dynamics and map of the environment. Semantics will include vehicles and vulnerable road users. Data-driven approaches will be considered to capture complex interactions. The methods will be tested with datasets that focus on traffic scene interaction such as nuScene and/or Argoverse. This research will be carried forward to detect Abnormal Behaviors in complex traffic scenarios that can lead to Dangerous Situations. Long-term prediction will contribute to proactively modeling conflicts and predicting accidents. Different approaches can be proposed that will trigger a warning system in case accidents are forecasted or possibility to propose motion planning for collision avoidance or mitigation maneuver to evade collision. The study will not only focus on the design and development of novel approaches but also their validation on the autonomous vehicle platform, the research and engineering work will go hand in hand. The developed work will be implemented on Nvidia GPU to meet the real-time constraints.