Analyse de mouvement rapide assistée par vision événementielle pour les scènes de conduite

Event-Assisted Fast Motion Analysis for Driving Scene

• Auteur / Autrice : Zhuyun Zhou
• Direction : Dominique Ginhac, Fan Yang Song
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/01/2022
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Interdisciplinaire Carnot de Bourgogne
• Partenaire(s) de recherche : Equipe de recherche : COMM - Conception, Optimisation & Modélisation en Mécanique
• Partenaire(s) de recherche : établissement de préparation : Université de Bourgogne (1970-....)

Mots clés

Mots clés libres

Vision évènementielle

Fusion de capteurs

Véhicule autonome

Vision par ordinateur

Robotique

Event vision

Sensor fusion

Autonomous vehicle

Computer vision

Robotics

Résumé

Ces dernières années, la recherche et le développement dans le domaine des véhicules autonomes (VA) ont pris un élan considérable, stimulés par le rôle essentiel que les VA sont censés jouer dans l'avenir de la mobilité. La tendance vers une autonomie totale des véhicules est motivée par la promesse d'une sécurité, d'une efficacité et d'un confort accrus. Cependant, la création d'un système de conduite autonome fiable est un défi à multiples facettes qui nécessite que le véhicule perçoive avec précision son environnement, détecte les objets et prenne des décisions en temps réel. Actuellement, la majorité des travaux sur les systèmes de perception des VA reposent sur une combinaison de capteurs, principalement des LiDAR, des caméras et des radars. Parmi les technologies émergentes, les caméras événementielles, également appelées caméras neuromorphiques ou capteurs de vision dynamique (DVS), sont particulièrement prometteuses pour les véhicules autonomes. Inspirées des systèmes de vision biologique, les caméras événementielles capturent les changements de dynamique de la scène au niveau du pixel de manière asynchrone, plutôt que d'enregistrer des images statiques à intervalles fixes. Chaque pixel fonctionne indépendamment et signale les changements de luminosité uniquement lorsqu'ils se produisent, ce qui donne lieu à un flux d'événements clairsemé, mais très informatif, qui comprend l'heure, la position et le signe du changement de luminosité. Cette approche offre plusieurs avantages distincts par rapport aux caméras traditionnelles basées sur des images. Les caméras d'événements offrent une plage dynamique élevée, une résolution temporelle de l'ordre de la microseconde et une faible consommation d'énergie. De plus, leur nature asynchrone minimise la transmission, le stockage et le traitement des données redondantes, ce qui conduit à des performances système plus efficaces. Notamment, les caméras d'événements sont également insensibles au flou de mouvement, un défi courant dans les environnements à grande vitesse ou en évolution rapide, ce qui les rend particulièrement bien adaptées aux exigences de la perception des véhicules autonomes. Malgré les promesses des caméras d'événements, il reste des obstacles importants à leur intégration dans les systèmes AV. Les algorithmes de vision par ordinateur traditionnels, conçus pour les données basées sur des images, ne sont pas bien adaptés aux données basées sur des événements générées par ces capteurs. De plus, le contexte d'application de cette thèse - la perception des véhicules autonomes - présente des défis distincts de ceux abordés par les recherches existantes, où la plupart des travaux se concentrent sur des caméras d'événements statiques observant des scènes dynamiques, ou des caméras mobiles dans des environnements statiques. En revanche, cette thèse implique le déploiement d'une caméra d'événements à bord d'un véhicule en mouvement pour observer des scènes dynamiques. Dans ce scénario, les événements générés par la caméra résulteront à la fois du mouvement du véhicule lui-même et du mouvement des objets dans l'environnement. La capacité à différencier le mouvement du véhicule de celui des objets extérieurs devient un problème critique. Cette complexité exige le développement de nouveaux algorithmes capables de découpler ces mouvements dynamiques, ce qui reste un problème ouvert dans les recherches précédentes. Cette thèse est motivée par la nécessité de surmonter ces défis et de faire progresser l'état des systèmes de perception pour les véhicules autonomes. Nous souhaitons explorer le potentiel des capteurs émergents, en particulier les caméras événementielles. Comme indiqué précédemment, les propriétés uniques de la caméra événementielle la rendent particulièrement adaptée à l'analyse des mouvements rapides. En exploitant les propriétés uniques des caméras événementielles, l'objectif est de développer de nouveaux algorithmes capables d'interpréter efficacement les scènes dynamiques. Ce faisant, cette recherche vise à contribuer à l'effort plus large visant à permettre des systèmes de conduite autonome plus sûrs et plus fiables.

In recent years, research and development in autonomous vehicles (AVs) has gained significant momentum, driven by the critical role AVs are expected to play in shaping the future of mobility. The push towards full autonomy in vehicles is driven by the promise of increased safety, efficiency, and comfort. However, creating a reliable autonomous driving system is a multi-faceted challenge that requires the vehicle to accurately perceive its surroundings, detect objects, and make real-time decisions. Currently, a majority of work in AV perception systems relies on a combination of sensors, primarily LiDARs, cameras, and radars. Among the emerging technologies, event cameras—also referred to as neuromorphic cameras or Dynamic Vision Sensors (DVS)—are particularly promising for autonomous vehicles. Inspired by biological vision systems, event cameras capture changes in scene dynamics at the pixel level asynchronously, rather than recording static frames at fixed intervals. Each pixel operates independently and reports changes in brightness only when they occur, resulting in a sparse, yet highly informative, stream of events that include the time, position, and sign of the brightness change. This approach offers several distinct advantages over traditional frame-based cameras. Event cameras provide high dynamic range, microsecond-level temporal resolution, and low power consumption. Furthermore, their asynchronous nature minimizes the transmission, storage, and processing of redundant data, leading to more efficient system performance. Notably, event cameras are also immune to motion blur, a common challenge in high-speed or rapidly changing environments, making them particularly well-suited for the demands of autonomous vehicle perception. Despite the promise of event cameras, there remain significant obstacles to their integration into AV systems. Traditional computer vision algorithms, designed for frame-based data, are not well-suited to the event-based data generated by these sensors. Moreover, the application context of this thesis — autonomous vehicle perception — presents challenges distinct from those addressed by existing research, where most work focuses on static event cameras observing dynamic scenes, or mobile cameras in static environments. In contrast, this thesis involves deploying an event camera onboard a moving vehicle to observe dynamic scenes. In this scenario, the events generated by the camera will result from both the movement of the vehicle itself and the motion of objects within the environment. The ability to differentiate between the motion of the vehicle and that of external objects becomes a critical issue. This complexity demands the development of new algorithms capable of decoupling these dynamic motions, which remains an open problem in previous research. This thesis is motivated by the need to overcome these challenges and advance the state of perception systems for autonomous vehicles. We aim to explore the potential of emerging sensors, specifically event cameras. As discussed earlier, the event camera's unique properties make it particularly well-suited for fast motion analysis. By leveraging the unique properties of event cameras, the goal is to develop novel algorithms that can effectively interpret dynamic scenes. In doing so, this research aims to contribute to the broader effort of enabling safer and more reliable autonomous driving systems.