Apprentissage géospatial intermodal auto-supervisé

Self-supervised cross-modal geospatial learning

• Auteur / Autrice : Guillaume Astruc
• Direction : Loïc Landrieu, Clément Mallet
• Type : Projet de thèse
• Discipline(s) : Signal, Image, Automatique
• Date : Inscription en doctorat le 02/10/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-....)
• Partenaire(s) de recherche : Laboratoire : LIGM - Laboratoire d'informatique Gaspard-Monge
• Partenaire(s) de recherche : Equipe de recherche : A3SI - Algorithme, Architecture, Analyse et Synthèse d'Image

Mots clés

Mots clés libres

Apprentissage profond

Apprentissage auto supervisé

Apprentissage multi modal

Capteurs geospatiaux

Vision par ordinateur

Deep learning

Self-supervised learning

Multi modal learning

Geospatial sensors

Remote sensing

Computer vision

Résumé

Cette thèse vise à exploiter l'alignement de plusieurs sources de données d'observation de la Terre pour apprendre des représentations significatives sans labels. Nous considérons un large éventail de capteurs tels que l'imagerie aérienne, les séries temporelles optiques et satellitaires RADAR, les LiDAR aériens et spatiaux. Nous proposons d'apprendre des descripteurs cohérents entre les modalités, incitant les représentations à se concentrer sur la sémantique latente partagée des zones étudiées analysées. La diversité des technologies de capteurs, chacune avec sa nature et sa résolution uniques, ainsi que le volume considérable de données à notre disposition, rendent cette entreprise particulièrement prometteuse et stimulante. Des descripteurs robustes et expressifs peuvent être utilisés pour de multiples tâches en aval, telles que la surveillance environnementale, la gestion des ressources naturelles, la cartographie des catastrophes et bien plus encore. Notre approche auto-supervisée pourrait réduire considérablement le besoin d'annotations coûteuses et améliorer l'adaptabilité et la résilience des fonctionnalités apprises.

This thesis aims to exploit the alignment of multiple Earth Observation data source to learn meaningful representations without labels. We consider a wide array of sensors such as aerial imagery, optical and RADAR satellite time series, aerial and space LiDAR. We propose to learn descriptors that are consistent across modalities, inciting the representations to focus on the shared latent semantic of the scanned surveyed areas. The diversity in terms of sensor technology, each with its unique nature and resolution, along with the overwhelming volume of data at our disposal, makes this endeavor particularly promising and challenging. Robust and expressive descriptors can be sue ofr multiple downstream tasks, such as environmental monitoring, natural resource management, disaster mapping, and much more. Our self-supervised approach could starkly decrease the need for costy annotation, and improve the adaptability and resilience of the learned features.