Semi-supervised learning for large-scale Earth observation data understanding

Apprentissage semi-supervisé pour la compréhension des données d'observation de la Terre à large-échelle

• Auteur / Autrice : Javiera Castillo-Navarro
• Direction : Sébastien Lefèvre, Alexandre Boulch, Bertrand Le Saux
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/03/2022
• Etablissement(s) : Lorient
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - Institut de Recherche en Informatique et Systèmes Aléatoires / IRISA
• Jury : Président / Présidente : Nicolas Thome
• Jury : Examinateurs / Examinatrices : Devis Tuia, Marie Chabert, Felipe Tobar
• Jury : Rapporteurs / Rapporteuses : Xiaoxiang Zhu

Mots clés

Mots clés contrôlés

Imagerie satellitaire

Apprentissage profond

Vision par ordinateur

Cartographie

Mots clés libres

Apprentissage semi-supervisé

Observation de la Terre

Segmentation sémantique

Semi-supervised learning

Earth observation

Semantic segmentation;

Land cover mapping

Deep learning

Résumé

L'observation de la Terre (OT) joue un rôle important dans la compréhension de notre planète. Aujourd'hui, les données sont facilement accessibles, mais leur volume est tel qu'elles ne peuvent être traitées par des humains. Ainsi, l'intelligence artificielle émerge comme une solution pour le traitement automatique des images d'OT. Cependant, la plupart des données restent sous- exploitées par manque d'annotation sémantique. Par conséquent, l'apprentissage supervisé ne suffit plus pour exploiter pleinement l'information. Cette thèse étudie des méthodes semi-supervisées (SSL) pour la classification et la segmentation, afin de parvenir à une compréhension des données d'OT à grande échelle. D'abord, nous étudions le potentiel des données non-annotées et proposons des outils pour l'analyse de représentativité pour des bases de données regroupant plusieurs villes. Ensuite, nous explorons deux manières d'aborder le SSL : d'un point de vue discriminatif, nous développons des réseaux de neurones multi-tâches et des tâches auxiliaires pour traiter la segmentation sémantique semi-supervisée. Ensuite, nous étudions des méthodes de régularisation par consistance pour effectuer la classification des scènes OT. En ce qui concerne les approches génératives, nous montrons le potentiel d'un modèle conjoint d'énergie (JEM) pour la classification semi-supervisée et pour d'autres applications en OT. Nos expériences montrent que les algorithmes de SSL obtiennent de meilleures performances et offrent des capacités de généralisation pour la cartographie de l'occupation et l'utilisation des sols. Nos contributions portent également sur l'élaboration de MiniFrance, le premier jeu de données ouvert conçu pour évaluer et aider à concevoir des méthodes SSL en télédétection. MiniFrance fait en outre partie de l'IEEE GRSS Data Fusion Contest 2022.

Earth observation (EO) plays a major role in the way we understand our planet and its dynamics. While plenty of data are available, they cannot be processed by humans only, so artificial intelligence has emerged as a solution to achieve automatic analysis of EO imagery. Still, most data are not exploited because they are unlabeled. Hence, algorithms beyond supervised learning are needed to get a complete insight. This thesis investigates deep semi-supervised learning (SSL) for classification and segmentation, in order to achieve EO data understanding at a large-scale. First, we explore the potential of unlabeled data, and propose tools for analyzing data representativeness for multi-location datasets. Then, we explore two ways of approaching the SSL problem. By discriminative modelling, first we develop multi-task networks and auxiliary tasks to tackle semi-supervised semantic segmentation; second, we explore consistency regularization methods (e.g. FixMatch) to perform scene classification in EO data. Moving to generative modelling, we show the potential of joint energy-based models for semi-supervised classification and many other EO applications. Through extensive experiments, we show that SSL allows to train algorithms with better performances and generalization capacities for land use and land cover mapping. Finally, our contributions also include the release of MiniFrance, the first dataset and open benchmark designed to assess and help design SSL in remote sensing, and part of the IEEE GRSS Data Fusion Contest 2022.