Apprentissage semi-supervisé et adaptation de domaine pour l'imagerie aérienne.

Semi-supervised learning and domaine adaptation for aerial imagery.

• Auteur / Autrice : Georges Le bellier
• Direction : Marin Ferecatu, Nicolas Thome
• Type : Projet de thèse
• Discipline(s) : Sciences pour l'ingénieur spécialité Informatique
• Date : Inscription en doctorat le 16/01/2023
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris)
• Partenaire(s) de recherche : Laboratoire : Cedric - Centre d'études et de recherche en informatique et communications
• Partenaire(s) de recherche : établissement de préparation de la thèse : Conservatoire national des arts et métiers (France)

Mots clés

Mots clés libres

Apprentissage profond

Télédétection

Modèles génératifs

Deep learning

Remote sensing

Generative models

Résumé

D'importants volumes de données d'Observation de la Terre (OT) sont disponibles grâce aux satellites européens Sentinel-2 et aux programmes français d'imagerie SPOT et BDORTHO. Néanmoins, cette masse de données est non-étiquetée et ne contient pas d'information sémantique utile pour l'apprentissage automatique de modèles pour des applications concrètes. La branche du programme Copernicus dédiée à la gestion des catastrophes réalise des tâches de cartographie rapide qui pourraient fortement bénéficier de temps de réponse grâce à l'IA. L'interprétation des données de télédétection après une catastrophe (inondation, séisme…) relève actuellement du travail des experts. Ces incidents étant des événements peu fréquents, les jeux de données d'apprentissage sont particulièrement rares. La communauté de la conduite autonome a pallié ce problème en utilisant les jeux vidéo pour simuler des situations difficiles à observer dans la réalité. Simuler des données d'OT est devenu possible grâce à des outils tels que CityEngine en créant des clones virtuels de villes entières.Cette thèse vise à allier ces outils et permettre à l'apprentissage profond d'exploiter les données de simulation pour la cartographie rapide post-catastrophe. Ces données synthétiques serviront de données supervisées complémentaires à la masse de données non-étiquetée existante. Nous rendrons les images simulées plus réalistes en développant des approches d'adaptation de domaine basées sur les modèles génératifs et nous développerons des méthodes d'apprentissage semi-supervisé sur le principe de l'auto-supervision pour la segmentation sémantique. Ceci nous permettra d'entraîner des modèles profonds capables de généraliser pour la cartographie des structures endommagées et l'identification des quartiers les plus touchés, facilitant la navigation des services d'urgence.

Huge amounts of Earth Observation (EO) data are available thanks to european satellites Sentinel-2 and to French observations programs SPOT and BDORTHO. However, these big data are unlabeled and therefore contain no useful semantic information that could be used to train downstream machine learning models. However, the Copernicus disaster management program, that delivers rapid mapping of sinistered areas, could strongly benefit from the faster response time that AI is able to bring. Interpretation of remote sensing data after a disaster (flood, earthquake ) is currently done by hand by experts. Since these events are exceptional, there are few labeled datasets that can be used to train supervised models. Meanwhile, the autonomous driving community has dealt with this problem by using video games to simulate events that are rarely observed in real life. Simulation of EO data is now possible thanks to softwares such as CityEngine that can procedurally generate entire cities. This thesis aims to bring together both those tools and using simulations to train deep networks for rapid post-disaster mapping. We will leverage modern video game engines to simulate aerial views of cities before and after a disaster (flood, earthquake, fire). These images will constitute the labeled dataset that will complement the large amount of existing unlabeled data. We will improve the realism of the simulation using adaptation domain techniques based on generative models, and we will develop semi-supervised learning algorithms based on self-supervision for semantic segmentation. This will allow us to train deep models able to generalize for large-scale mapping of damaged structures, to identify the most affected areas and improve how emergency services navigate the city after a disaster.