Fusion des données pour la reconnaissance des objets : application à la reconnaissance des défauts des rails

Data fusion for object recognition: application to rail defect recognition

• Auteur / Autrice : Alexey Zhukov
• Direction : Jenny Benois-pineau, Akka Zemmari
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 19/09/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : LaBRI - Laboratoire Bordelais de Recherche en Informatique
• Partenaire(s) de recherche : Equipe de recherche : Images et Son

Mots clés

Mots clés libres

Fusion tardive

Fusion intermédiare

Technique d'explicabilité

Modèles d'attention

Apprentissage profond

Fusion précauce

Late Fusion

Intermediate fusion

Explainability techniques

Attention models

Deep Learning

Early fusion

Résumé

Dans le cadre du projet Train Léger innovant (TELLi), des travaux sont engagés pour concevoir un système de surveillance de l'infrastructure (rails, ballasts, abords de voie, etc.) par des capteurs embarqués sur les trains. En effet, l'infrastructure ferroviaire des lignes rurales est souvent vétuste et nécessite une vigilance constante. Cette surveillance, réalisée par des agents qui parcourent les voies, est non seulement coûteuse, mais également dangereuse, pénible et peu fréquente. Le projet consiste donc à automatiser cette surveillance des voies ferrées en utilisant des capteurs (images, sons, radars, lidars, etc.) sur les trains qui circulent au quotidien. L'emploi d'un unique réseau neuronal profond sur les images des rails acquises par les caméras ne permet pas de discriminer certains défauts ayant des caractéristiques identiques à des situations normales. D'où la nécessité de s'appuyer sur d'autres sources d'information provenant soit du même capteur, par exemple les caméras, comme les images du contexte, soit d'autres capteurs par exemple : les micros et les accéléromètres. Le sujet de thèse proposé vise à comparer les différentes méthodes de fusion (précoce, intermédiaire ou tardive) afin de combiner les données provenant de sources différenciées.

As part of the Innovative Light Train (TELLi) project, work is underway to design an infrastructure monitoring system (rails, ballast, trackside areas, etc.) using sensors onboard trains. Rural railway infrastructure is often outdated and requires constant vigilance. This monitoring, currently carried out by personnel who walk the tracks, is not only costly but also dangerous, arduous, and infrequent. The project therefore aims to automate track monitoring by using sensors (images, audio, radar, lidar, etc.) on trains that run every day. Using a single deep neural network on rail images captured by cameras does not make it possible to distinguish certain defects that share characteristics with normal situations. Hence the need to rely on other sources of information, either from the same sensor for example, cameras, such as context images or from other sensors, such as microphones and accelerometers. The proposed PhD topic aims to compare different fusion methods (early, intermediate, or late) in order to combine data from heterogeneous sources.