Prédiction et évitement d'obstacles basés deep learning : Application à la mobilité ferroviaire et routière.

Obstacle prediction and avoidance based on deep learning : Application to rail and road mobility

• Auteur / Autrice : Antoine Mauri
• Direction : Rémi Boutteau
• Type : Thèse de doctorat
• Discipline(s) : Automatique, signal, productique, robotique
• Date : Soutenance le 14/11/2022
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de traitement de l'information et des systèmes (Saint-Etienne du Rouvray, Seine-Maritime ; 2006-...)
• Partenaire(s) de recherche : Etablissement de préparation de la thèse : Université de Rouen Normandie (1966-....) - Ecole supérieure d'ingénieurs en génie électrique (Rouen)
• Jury : Président / Présidente : Samia Ainouz
• Jury : Examinateurs / Examinatrices : Rémi Boutteau, Redouane Khemmar, Muriel Pressigout
• Jury : Rapporteurs / Rapporteuses : Cédric Demonceaux, Paul Checchin

Mots clés

Mots clés contrôlés

Lidar

Perception spatiale

Systèmes embarqués (informatique)

Apprentissage profond

Reconnaissance d'objets (informatique)

Véhicules autonomes

Mots clés libres

Estimation de la boîte englobante 3D

Détection multi-objets 3D

Ensemble de données multimodales

Apprentissage profond

Mobilité intelligente

3D bounding box estimation

3D multi-object detection

Multi-modal dataset

Deep learning

Smart mobility

Résumé

Afin d'améliorer la sécurité des transports et rendre la conduite plus autonome, les véhicules doivent disposer d'une meilleure perception de leur environnement. Bien que le développement de la voiture autonome fasse l'objet d'une grande attention, le transport ferroviaire suit aussi la même voie. L'enjeu est à la fois d'améliorer le confort de conduite grâce à l'aide à la navigation et d'accroître la sécurité pendant la navigation.Les travaux présentés dans cette thèse visent à créer un système de perception fiable utilisant une seule modalité, en l'occurrence les images d'une caméra, afin de détecter des obstacles mettant en danger la vie des passagers. Le système doit être générique afin de pouvoir être utilisé sur tout type de caméra dans un contexte de trafic sur route mais aussi sur rail. Nous utiliserons l'apprentissage profond pour atteindre cet objectif et nous présentons quatre contributions. La première est une approche basée sur la combinaison d'un détecteur d'objets (Yolov3), d'un estimateur de profondeur (MadNet) et d'un filtre de Kalman pour détecter, localiser et suivre des objets sur la voie du véhicule. La deuxième contribution est basée sur un nouveau protocole d'évaluation de l'estimation de la profondeur plus adapté aux tâches de localisation d'objets. La troisième contribution est basée sur la création de deux nouvelles bases de données, une virtuelle basée sur le jeu vidéo \textit{Grand Theft Auto} et une réelle (ESRORAD) pour le train autonome. Enfin, notre dernière contribution est une approche pour la détection d'objets 3D basée sur Yolov5 et leur suivi basé sur un filtre de Kalman.Les résultats obtenus par cette dernière approche montrent une réelle amélioration du temps de calcul et permettent une utilisation sur des systèmes embarqués tout en étant aussi précis que les méthodes de l'état de l'art.

To improve transportation safety and make driving more autonomous, vehicles must have a better perception of their environment. Although the development of the autonomous car is receiving a lot of attention, rail transport is also following the same path. The challenge is both to improve driving comfort through navigation assistance and to increase safety during navigation.The work presented in this thesis aims at creating a reliable perception system using a single modality, in this case, images from a camera, to detect life-threatening obstacles. The system must be generic to be used on any type of camera in a traffic context on road but also rail. We will use deep learning to achieve this goal and we present four contributions. The first one is an approach based on the combination of an object detector (Yolov3), a depth estimator (MadNet), and a Kalman filter to detect, locate and track objects on the vehicle track. The second contribution is based on a new evaluation protocol for depth estimation more suitable for object localization tasks. The third contribution is based on the creation of two new databases, a virtual one based on the video game Grand Theft Auto and a real one (ESRORAD) for the autonomous train. Finally, our last contribution is an approach to the detection of 3D objects based on Yolov5 and their tracking based on a Kalman filter.The results obtained by this last approach show a real improvement in the computation time and allows use on embedded systems while being as accurate as the state-of-the-art methods.