Exploration de la fusion de données pour la détection d’objets multiples dans les systèmes de transport intelligents à l’aide de l’apprentissage profond

Exploring Data Fusion for Multi-Object Detection for Intelligent Transportation Systems using Deep Learning

• Auteur / Autrice : Amira Mimouna
• Direction : Abdelmalik Taleb-Ahmed, Najoua Essoukri Ben Amara
• Type : Thèse de doctorat
• Discipline(s) : Electronique. Acoustique et télécommunications
• Date : Soutenance le 25/05/2021
• Etablissement(s) : Valenciennes, Université Polytechnique Hauts-de-France en cotutelle avec Université de Sousse (Tunisie)
• Ecole(s) doctorale(s) : École doctorale polytechnique Hauts-de-France (Valenciennes, Nord ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Institut d'Electronique, de Microélectronique et de Nanotechnologie
• Partenaire(s) de recherche : Etablissement délivrant conjointement le doctorat : Institut national des sciences appliquées Hauts-de-France (Valenciennes, Nord ; 2019-....)
• Jury : Président / Présidente : Abdeldjalil Ouahabi
• Jury : Examinateurs / Examinatrices : Abdelmalik Taleb-Ahmed, Najoua Essoukri Ben Amara, Youssef Chahir, Dorra Sellami-Masmoudi, Jacques Boonaert, Ihsen Alouani, Anouar Ben Khalifa
• Jury : Rapporteurs / Rapporteuses : Youssef Chahir, Dorra Sellami-Masmoudi

Mots clés

Mots clés contrôlés

Reconnaissance d'objets (informatique)

Apprentissage profond

Systèmes de transport intelligent

Mots clés libres

Systèmes de transport intelligents

Base de données public

Multi-modalité

Fusion

Détection d’objets

Radar ULB

Entropie

Segmentation

Apprentissage profond

LSTM

Intelligent transportation systems

Public dataset

Multi-modality

Fusion

Object detection

UWB radar

Entropy

Segmentation

Deep learning

LSTM

Résumé

Une perception fiable de l’environnement est une tâche cruciale pour la conduite autonome, en particulier dans les zones de trafic dense. La recherche dans ce domaine évolue de plus en plus. Cependant, nous sommes au début d’une voie de recherche vers une future génération de systèmes de transport intelligents. En effet, les principales préoccupations lors du développement de tels systèmes sont les conditions de la conduite, la surveillance des infrastructures et la réponse précise du système en temps réel. Les récentes améliorations et percées dans la compréhension de l’environnement pour les systèmes de transport intelligents reposent principalement sur l’apprentissage profond et la fusion de différentes modalités. Dans ce contexte, tout d’abord, nous introduisons OLIMP : heterOgeneous MuLtimodal Dataset for Advanced EnvIronMent Perception. C’est la première base de données public, multimodale et synchronisée qui comprend des données radar ultra large bande (ULB), des données acoustiques, des données radar à bande étroite et des images. OLIMP comprend 407 scènes et 47 354 données synchronisées, dont quatre catégories: piétons, cyclistes, voitures et tramways. L’ensemble de données présente divers défis liés au trafic urbain dense, tels que des environnements encombrés et des conditions météorologiques différentes. Pour démontrer l’utilité de la base introduite, nous proposons, par la suite, un framework de fusion qui combine les quatre modalités pour la détection multi-objets. Les résultats obtenus sont prometteurs et incitent à de futures recherches. Dans les applications à courte portée, les radars ULB représentent une technologie prometteuse pour la construction de systèmes de détection d’obstacles fiables car ils sont robustes aux conditions environnementales. Cependant, ces radars souffrent d’un défi de segmentation: localiser les régions d’intérêt (ROIs) pertinentes dans ses signaux. Par conséquent, nous mettons en avant une approche de segmentation pour détecter les ROIs dans un environnement dédié à la perception de l’environnement c’est la troisième contribution. Plus précisément, nous mettons en oeuvre une analyse d’entropie différentielle pour détecter les ROIs. Les résultats obtenus montrent des performances supérieures en termes de détection d’obstacles par rapport aux techniques de l’état de l’art, et une robustesse même avec des signaux de faible amplitude. Par la suite, nous proposons un nouveau framework basée sur l’apprentissage profond qui exploite le réseau de neurones récurrents avec les signaux ULB pour la détection multiple d’obstacles routiers. Les caractéristiques sont extraites du domaine temps-fréquence à l’aide de la transformée en ondelettes discrète et sont transmises au réseau récurrent à mémoire courte et long terme. Les résultats obtenus montrent que le système basé sur l’LSTM surpasse les autres techniques implémentées en termes de détection d’obstacles.

Building reliable environment perception systems is a crucial task for autonomous driving, especially in dense traffic areas. Researching in this field is evolving increasingly. However, we are at the beginning of a research pathway towards a future generation of intelligent transportation systems. In fact, challenging conditions in real-world driving circumstances, infrastructure monitoring, and accurate real-time system response, are the predominant concerns when developing such systems. Recent improvements and breakthroughs in scene understanding for intelligent transportation systems have been mainly based on deep learning and the fusion of different modalities. In this context, firstly, we introduce OLIMP : A heterOgeneous MuLtimodal Dataset for Advanced EnvIronMent Perception . This is the first public, multimodal and synchronized dataset that includes Ultra Wide-Band (UWB) radar data, acoustic data, narrowband radar data and images. OLIMP comprises 407 scenes and 47,354 synchronized frames, including four categories: pedestrians, cyclists, cars and trams. The dataset presents various challenges related to dense urban traffic such as cluttered environments and differentweather conditions. To demonstrate the usefulness of the introduced dataset, we propose, afterwards, a fusion framework that combines the four modalities for multi object detection. The obtained results are promising and spur for future research. In short range settings, UWB radars represent a promising technology for building reliable obstacle detection systems as they are robust to environmental conditions. However, UWB radars suffer from a segmentation challenge: localizing relevant Regions Of Interests (ROIs) within its signals. Therefore, we put froward a segmentation approach to detect ROIs in an environment perception-dedicated UWB radar as a third contribution. Specifically, we implement a differential entropy analysis to detect ROIs. The obtained results show higher performance in terms of obstacle detection compared to state-of-theart techniques, as well as stable robustness even with low amplitude signals. Subsequently, we propose a novel framework that exploits Recurrent Neural Networks (RNNs) with UWB signals for multiple road obstacle detection as a deep learning-based approach. Features are extracted from the time-frequency domain using the discrete wavelet transform and are forwarded to the Long short-term memory (LSTM) network. The obtained results show that the LSTM-based system outperforms the other implemented related techniques in terms of obstacle detection.