Identification de situations de mise en danger d'usagers aux alentours de portes automatiques de train par détection d'anomalies auto-supervisée

Pedestrian hazardous events identification in the vicinity of train automatic doors using self-supervised anomaly detection

• Auteur / Autrice : Olivier Laurendin
• Direction : Anthony Fleury
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Génie Informatique et Traitement du Signal et des Images
• Date : Soutenance le 15/12/2023
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Lille Douai
• Ecole(s) doctorale(s) : Ecole doctorale Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Centre for Digital Systems / CERI SN - IMT Nord Europe
• Jury : Président / Présidente : Pierre Chainais
• Jury : Examinateurs / Examinatrices : Samia Ainouz, Romaric Audigier, Sébastien Ambellouis
• Jury : Rapporteurs / Rapporteuses : Laure Tougne, Bernard Kamsu-Foguem

Mots clés

Mots clés libres

Réseaux de neurones

Vision par ordinateur

Détection d'anomalies

Vidéo-Surveillance

Neuronal networks

Computer vision

Anomaly detection

Video surveillance

Résumé

Ce travail de recherche s’inscrit dans le cadre d’un projet d’autonomisation des trains de voyageurs et tout particulièrement ceux circulant sur les lignes régionales françaises. A terme, le prototype de train autonome développé vise le degré d’automatisation maximal, pour lequel toutes les fonctions d’opération du train actuellement sous la responsabilité des agents de bord seront traitées par des systèmes techniques. Nous nous sommes intéressons ici à l’autonomisation d’une de ces fonctions, à savoir l’opération en sécurité des portes extérieures du train.De nombreuses situations de mise en danger d’usagers ont été répertoriées lors de la fermeture des portes et certaines figurent aujourd’hui parmi les principales sources d’incidents voyageurs. L’objectif de cette thèse est de développer un système de détection de ces événements à partir de l’analyse automatique des flux vidéo d’un système de surveillance embarqué.Cette thèse adresse ce problème par l’application de réseaux de neurones profonds afin de détecter, localiser et identifier tout événement dangereux lié aux piétons et aux portes présent dans des flux vidéo fournis par des caméras fish-eye installées sur le plafond des plates-formes d’embarquement du train. Ces événements dangereux apparaissant très rarement au cours de l’exploitation du train, la solution proposée repose sur la notion d’anomalie définie comme un événement inconnu ou inattendu dans un contexte donné. L’architecture neuronale proposée constitue donc un modèle de normalité et identifie comme anomalie toute donnée aberrante qui s’en écarte.L’architecture du réseau neuronal que nous proposons se décompose en deux branches spécialisées capables d’apprendre un modèle d’interaction normale entre deux objets. Chaque branche est entraînée par l’apprentissage de tâches prétextes capables de modéliser différents aspects de normalité supposés pertinents pour la détection d’anomalies liées aux piétons et aux portes.Aucun jeu de données relatif à notre cas d’usage n’existant dans la littérature, nous avons récolté et annoté un ensemble de séquences d’images pour l’entraînement et l’évaluation de nos architectures. Ces séquences mettent en scène des usagers aux alentours d’une réplique de portes automatiques de train en laboratoire et d’un train réel instrumenté pour les expérimentations du projet. Enfin, nous avons mis au point des métriques d’évaluation de l’efficacité des modèles développés afin d’évaluer leur applicabilité opérationnelle.

This work is part of a research project to develop an autonomous passenger train operating on French regional lines. Ultimately, the developed autonomous train prototype aims for the maximum degree of railway automation, for which all train operating functions currently under the responsability of on-board staff will be handled by technical systems. We are interested here in the automation of one of these functions, namely the safe operation of the train’s external doors.Numerous dangerous situations for passagers during door closing have been identified, and some are now among the main sources of passager incidents. The aim of this thesis is to develop a detection system to identify these events based on the automatic analysis of on-board surveillance system video streams.This thesis addresses this problem by applying deep neural networks to detect, locate and identify any dangerous event related to pedestrians and doors present in video streams provided by fish-eye cameras installed on the ceiling of the train boarding platforms.As instances of these dangerous events occur very rarely during train operation, the proposed solution is based on the notion of anomaly, defined as an unknown or unexpected event in a given context of « normality ». The proposed neural architecture therefore constitutes a model of normality and identifies as abnormal any aberrant data that deviates from it.The neural network architecture we are proposing breaks down into two specialized branches capable of learning a model of normal interaction between two objects. Each branch is trained using learned proxy tasks capable of modelling different aspects of normality assumed to be relevant for the detection of anomalies associated with pedestrians and doors.As no image dataset related to our use case exists in the literature, we have collected and annotated a set of image sequences for training and evaluating our architectures. These sequences depict users in the vicinity of a train doors replica and in a real train instrumented as part of the research project. Finaly, we have developed metrics for evaluating the effectiveness of our models in order to test their operational applicability.