Réseaux neuronaux en graphes inductifs Application à la surveillance Passive Visuelle et Acoustique

Inductive Graph Neural Networks for Passive Vision and Acoustic Monitoring

• Auteur / Autrice : Wieke Prummel
• Direction : Thierry Bouwmans, Anastasia Zakharova
• Type : Thèse de doctorat
• Discipline(s) : Image, signal et automatique
• Date : Soutenance le 08/11/2024
• Etablissement(s) : La Rochelle
• Ecole(s) doctorale(s) : École doctorale Euclide (La Rochelle ; 2018-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Mathématiques, Image et Applications (La Rochelle) - Mathématiques, Image et Applications - EA 3165
• Jury : Président / Présidente : Laure Tougne
• Jury : Examinateurs / Examinatrices : Thierry Bouwmans, Anastasia Zakharova, Laure Tougne, Enrico Magli, Ezequiel Lopez Rubio, Dorina Thanou, Jhony Heriberto Giraldo Zuluaga, Jenny Benois Pineau
• Jury : Rapporteurs / Rapporteuses : Enrico Magli, Ezequiel Lopez Rubio

Mots clés

Mots clés contrôlés

Son -- Traitement par ordinateur

Traitement d'images -- Techniques numériques

Apprentissage profond

Réseaux neuronaux graphiques

Mots clés libres

Graph Neural Networks

Surveillance Visuelle Passive

Surveillance Acoustique Passive

Graph Signal Processing

Graph Neural Networks

Passive Vision Monitoring

Computer Vision

Passive Acoustic Monitoring

Graph Signal Processing

Résumé

Cette thèse propose une approche des réseaux neuronaux en graphe (GNNs) basés sur l'apprentissage inductif pour la vision passive et la surveillance acoustique, visant à créer des solutions déployables pour améliorer les stratégies de conservation. La surveillance visuelle passive (PVM) et la surveillance acoustique passive (PAM) font face à une quantité croissante des données en raison des capteurs haute- qualité. Les méthodes actuelles utilisent principalement l'apprentissage transductif, qui, bien qu'étant plus simple à résoudre, peine avec les données non vues, et il y a un manque de modèles inductifs basés sur les graphes dans l'éco-acoustique. Cette recherche explore donc les performances des méthodes inductives, avec des contributions clés comme GraphIMOS pour la segmentation des objets en mouvement (MOS) dans le PVM, montrant que l'apprentissage inductif peut surpasser les méthodes transductives traditionnelles. Un modèle léger (MOSIG-Net) optimise GraphIMOS avec des techniques comme l’edge dropout, ouvrant la voie à de futures améliorations en apprentissage semi-supervisé. En outre, la thèse présente MOT-GCN, une méthode de suivi multi-objets (MOT) qui améliore la fusion des suiveurs et traite des défis comme les images à faible résolution et les chevauchements d'objets denses, marquant la première méthode inductive de fusion dans ce domaine. Dans PAM, GraphIEAMON améliore significativement la surveillance éco-acoustique, offrant des performances et une interprétabilité supérieure. Ce travail démontre la polyvalence et l'efficacité de l'apprentissage inductif basé sur les graphes pour relever des défis complexes dans la vision par ordinateur et la surveillance de l'environnement.

This thesis develops inductive learning for graph neural networks (GNNs) for passive vision and acoustic monitoring to create deployable solutions that enhance conservation strategies. Passive Vision Monitoring (PVM) and Passive Acoustic Monitoring (PAM) face increasing data complexity due to advanced sensors. Current methods mainly use transductive learning, which struggles with unseen data, and there is a lack of inductive, graph-based frameworks in ecoacoustics. This research explores the performance of inductive methods, featuring key contributions like GraphIMOS for Moving Object Segmentation (MOS) in PVM, which shows that inductive learning can outperform traditional transductive methods in real-world applications. A lightweight model, MOSIG-Net, optimizes GraphIMOS using techniques like edge dropout, paving the way for future semi-supervised learning enhancements. In PAM, GraphIEAMON significantly improves ecoacoustic monitoring, offering superior performance and explainability. Additionally, the thesis introduces MOT-GCN, a novel method for Multi-Object Tracking (MOT) that enhances tracker fusion and addresses challenges like low-resolution images and dense object overlaps, marking the first inductive tracker fusion method in this field. This work demonstrates the versatility and effectiveness of inductive graph-based learning in tackling complex challenges in computer vision and environmental monitoring.