Création d'une approche de test exploitant les concepts de la réalité augmentée pour les systèmes d'assistance à la conduite reposant sur des caméras

Development of a method for practical testing of camera-based advanced driver assistance systems in automotive vehicles using augmented reality

• Auteur / Autrice : Michael Weber
• Direction : Franck Joseph Aimé Gechter, Reiner Kriesten
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/12/2023
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences Physiques pour l'Ingénieur et Microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Connaissance et Intelligence Artificielle Distribuées (CIAD) (Dijon) - Connaissance et Intelligence Artificielle Distribuées [Dijon] / CIAD
• Partenaire(s) de recherche : : Université de technologie de Belfort-Montbéliard (1999-....)
• Jury : Président / Présidente : El-Hassane Aglzim
• Jury : Examinateurs / Examinatrices : Franck Joseph Aimé Gechter, Reiner Kriesten, Vincent Chevrier, Bob-Antoine Jerry Ménélas, Maxime Guériau, Baudouin Dafflon
• Jury : Rapporteurs / Rapporteuses : Vincent Chevrier, Bob-Antoine Jerry Ménélas

Mots clés

Mots clés contrôlés

Réalité augmentée

Intelligence artificielle

Systèmes de transport intelligent

Mots clés libres

Intelligence artificielle

Systèmes avancés d'aide à la conduite

Conduite autonome

Réalité augmentée

Segmentation sémantique

Localisation et cartographie visuelles simultanées

Artificial Intelligence

Advanced Driver Assistance Systems

Autonomous Driving

Augmented Reality

Semantic Segmentation

Visual Simultaneous Localization And Mapping

Résumé

Les systèmes avancés d'aide à la conduite (ADAS) assistent le conducteur, lui offrent du confort et prennent la responsabilité d'accroître la sécurité routière. Ces systèmes complexes font l'objet d'une phase d'essai approfondie qui permet d'optimiser la qualité, la reproductibilité et les coûts. Les systèmes d'aide à la conduite de demain prendront en charge des proportions toujours plus grandes de situations de conduite dans des scénarios de plus en plus complexes et représentent un facteur clé pour la conduite autonome. Les méthodes d'essai actuelles pour les systèmes d'aide à la conduite peuvent être divisées en deux catégories : la simulation et la réalité. Le concept de base de la simulation est de bénéficier de la reproductibilité, de la flexibilité et de la réduction des coûts. Cependant, la simulation ne peut pas encore remplacer complètement les essais en conditions réelles. Les conditions physiques, telles que les conditions météorologiques, le revêtement de la route et d'autres variables, jouent un rôle crucial dans l'évaluation des essais routiers des systèmes d'aide à la conduite et ne peuvent pas être entièrement reproduites dans un environnement virtuel. Ces méthodes d'essai reposent sur des tests de conduite réels sur des sites d'essai spéciaux ainsi que dans un trafic routier réel, ce qui prend beaucoup de temps et est très coûteux. Des méthodes d'essai nouvelles et efficaces sont donc nécessaires pour ouvrir la voie aux futurs systèmes d'assistance à la conduite automobile. Une nouvelle approche, Vehicle in the Loop (VIL), déjà utilisée dans l'industrie aujourd'hui, combine les avantages de la simulation et de la réalité. L'approche retenue dans ce projet est une nouvelle méthode qui vient s'ajouter aux solutions VIL existantes. Tirant parti de la simulation et de la réalité pour tester les ADAS, ce projet présente une nouvelle approche utilisant la réalité augmentée (AR) pour tester ADAS basés sur des caméras, de manière reproductible, rentable et rapide. Une puissance informatique élevée est nécessaire pour des conditions environnementales automobiles complexes, telles que la vitesse élevée du véhicule et le nombre réduit de points d'orientation sur une piste d'essai par rapport aux applications de réalité augmentée à l'intérieur d'un bâtiment. Un modèle tridimensionnel contenant des informations précises sur le site d'essai est généré sur la base de la combinaison de la localisation et de la cartographie visuelles simultanées (vSLAM) et de la segmentation sémantique. L'utilisation d'un processus d'augmentation spécial nous permet d'enrichir la réalité avec des usagers de la route virtuels afin de présenter une preuve de concept pour de futures procédures d'essai.

Advanced Driver Assistance Systems (ADAS) support the driver, offer comfort, and take responsibility for increasing road safety. These complex systems endure an extensive testing phase resulting in optimization potential regarding quality, reproducibility, and costs. ADAS of the future will support ever-larger proportions of driving situations in increasingly complex scenarios and represent a key factor for Autonomous Driving (AD). Current testing methods for ADAS can be divided into simulation and reality. The core concept behind the simulation is to benefit from reproducibility, flexibility, and cost reduction. However, simulation cannot yet completely replace real-world tests. Physical conditions, such as weather, road surface, and other variables, play a crucial role in evaluating ADAS road tests and cannot be fully replicated in a virtual environment. These test methods rely on real driving tests on special test sites as well as in real road traffic and are very time-consuming and costly. Therefore, new and efficient test methods are required to pave the way for future ADAS. A new approach Vehicle in the Loop (VIL), which is already being used in the industry today, combines the advantages of simulation and reality. The approach in this project is a new method besides existing VIL solutions. Taking advantage of testing ADAS in simulation and reality, this project presents a new approach to using Augmented Reality (AR) to test camera-based ADAS in a reproducible, cost- and time-efficient way. High computer power is needed for complex automotive environmental conditions, such as high vehicle speed and fewer orientation points on a test track compared to AR applications inside a building. A three-dimensional model with accurate information about the test site is generated based on the combination of visual Simultaneous Localization and Mapping (vSLAM) and Semantic Segmentation. The use of a special augmentation process allows us to enrich reality with virtual road users to present a proof of concept for future test procedures.