Approches d'apprentissage automatique pour la détection et la classification des déchets dans les vidéos sous-marines en vue du nettoyage robotisé des fonds marins.

Machine learning approaches for detecting and classifying litter in underwater videos for robotic seabed cleaning.

• Auteur / Autrice : Cyril Barrelet
• Direction : Marc Goutterfarde, Marc Chaumont
• Type : Projet de thèse
• Discipline(s) : SYAM - Systèmes Automatiques et Micro-Électroniques
• Date : Inscription en doctorat le ; Soutenance le 23/09/2025
• Etablissement(s) : Université de Montpellier (2022-....)
• Ecole(s) doctorale(s) : École Doctorale Information, Structures, Systèmes
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, de Robotique et de Micro-électronique de Montpellier
• Partenaire(s) de recherche : Equipe de recherche : Département Informatique
• Jury : Président / Présidente : Sylvie Chambon
• Jury : Examinateurs / Examinatrices : Marc Goutterfarde, Marc Chaumont, Vincent Creuze, Gérard Subsol, Ouiddad Labbani-igbida, Chloé Friguet, Florence Sedes
• Jury : Rapporteurs / Rapporteuses : Sylvie Chambon, Florence Sedes

Mots clés

Mots clés libres

Apprentissage profond

Evaluation

Détection d'objets

Deep Learning

Evaluation

Object detection

Résumé

Chaque année, entre 4,8 et 12,7 millions de tonnes de macro-déchets terminent dans les océans. Le projet européen MAELSTROM (MArinE Litter SusTainable RemOval and Management) a vu le jour dans ce contexte. Ce projet a pour visée d'identifier, collecter, trier et recycler les macro-déchets sous-marins pour les transformer en matières premières. La thèse s'inscrit dans ce projet. Elle s'intéresse à l'identification et à la collecte de macro-déchets à l'aide d'une plateforme robotisée. L'objectif est de fournir une aide au pilotage via une caméra intelligente immergée, laquelle détecte automatiquement et classifie les objets sur le fond marin et les affiche en temps réel sur l'interface opérateur. L'humain prend alors la décision finale de récupérer ou non les cibles afin d'éviter tout risque (par exemple, une confusion entre un déchet et des pièces archéologiques fragiles, des déchets toxiques ou encore des munitions). Les déchets sous-marins sont extrêmement diversifiés en termes de matériaux (papier, tissu, métal, bois, plastique, verre, etc.) et d'apparence (colorés, réfléchissants, transparents, etc.). Afin de pouvoir traiter tous les cas, les méthodes récentes de détection se fondent sur les techniques d'apprentissage supervisé par réseau neuronal convolutif. Cependant, leurs performances restent limitées du fait du manque de bases de données d'images et de la très petite taille de celles qui sont disponibles. Cette thèse s'est donc concentrée sur la création, l'analyse et l'évaluation de telles bases. Dans un premier temps, après un état de l'art des bases existantes, nous avons proposé trois nouvelles bases de données (Uno, Morgane, Venise). Nous avons ensuite étudié leur décalage selon plusieurs scénarios réalistes et évalué l'impact de leur diversité sur la capacité de généralisation des réseaux de neurones. Enfin, nous avons proposé une extension de la validation croisée par K-fold. Celle-ci étend les méthodes de validation croisée, initialement conçues pour l'évaluation des modèles de classification, aux modèles de détection. Elle réduit la variabilité des performances sur de petites bases de données et permet une comparaison plus fiable des architectures de détection. L'analyse des différents résultats révèle des pistes de recherche prometteuses, en particulier l'exploration de la caractérisation de la dimension intrinsèque d'une base de données pour la détection, ou encore la découverte de nouvelles classes dans une base de données cible.

Each year, between 4.8 and 12.7 million tonnes of macro-litter end up in the oceans. The European project MAELSTROM (Marine Litter SusTainable Removal and Management) was initiated in this context. This project aims to identify, collect, sort, and recycle underwater macro-litter in order to convert it into raw materials. This thesis is part of that project. It focuses on the identification and collection of macro-litter using a robotic platform. The objective is to provide piloting assistance through an intelligent submerged camera, which automatically detects and classifies objects on the seafloor and displays them in real time on the operator interface: the operator then makes the final decision to select the targets to avoid any confusion (for example, between plastic waste and fragile archaeological artifacts, toxic waste, or ammunition). Underwater litter is extremely diverse in terms of material (paper, fabric, metal, wood, plastic, glass, etc.) and appearance (colored, reflective, transparent, etc.). To handle all cases, recent detection methods rely on supervised learning techniques using convolutional neural networks. However, their performance remains limited due to the lack of image databases and the very small size of those that are available. This thesis therefore focused on the creation, analysis, and evaluation of such databases. First, after a review of existing datasets, we proposed three novel and distinct databases (Uno, Morgane, Venise). We then studied their shift under several realistic scenarios and evaluated the impact of their diversity on the generalization capacity of neural networks. Finally, we proposed an extension of K-fold cross-validation. This extension adapts cross-validation methods originally designed for classification models to detection models, reducing performance variability on small datasets and enabling a fairer comparison of network architectures. The analysis of the results revealed promising research directions, in particular the characterization of the intrinsic dimension of a dataset for detection, as well as the discovery of new classes in a target dataset.