Modèles génératifs conditionnels informés par la physique pour l'observation de la Terre

Conditional generative models informed by physics for Earth observation

• Auteur / Autrice : Etienne Bardet
• Direction : Thomas Oberlin, Nicolas Dobigeon
• Type : Projet de thèse
• Discipline(s) : Informatique et Télécommunications
• Date : Inscription en doctorat le 01/10/2025
• Etablissement(s) : Université de Toulouse (EPE ; 2025-...)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications
• Partenaire(s) de recherche : Laboratoire : ISAE-ONERA MOIS MOdélisation et Ingénierie des Systèmes
• Partenaire(s) de recherche : Equipe de recherche : ISAE/DISC/MITT Département d'Ingéniérie des Systèmes Complexes
• Partenaire(s) de recherche : établissement délivrant conjointement le doctorat : Institut supérieur de l'aéronautique et de l'espace (Toulouse ; 2007-....)

Mots clés

Mots clés libres

Modèles Génératifs

Apprentissage Profond

Télédétection

Multimodalité

Generative Models

Deep Learning

Remote Sensing

Multimodality

Résumé

Cette thèse s'inscrit dans le cadre du projet RELEO, dont l'objectif est de développer de nouvelles stratégies d'apprentissage de représentations pour construire un Large Earth Observation Model, capable de prédire les Variables Climatiques Essentielles à partir de données de télédétection multimodales. RELEO fait partie d'ANITI-2 dans le cadre de l'appel à projets ANR français “AI Clusters”. Une question critique est de savoir comment représenter les données d'observation de la Terre tout en tenant compte des incertitudes, qui peuvent être causées par les mesures elles-mêmes ou qui sont prédites par des modèles physiques. Le besoin de quantification des incertitudes nous conduit vers les modèles génératifs profonds, qui apprennent une correspondance probabiliste entre les données et une variable latente dont la distribution est généralement donnée à l'avance. Bien qu'une vaste littérature soit consacrée à l'apprentissage de représentations génératives, aucune technique existante n'est pleinement adaptée aux données de télédétection en raison de plusieurs verrous. Nous visons ici à en traiter deux : la multimodalité et l'interprétabilité. En effet, l'utilisation de tels grands modèles de représentation dans des applications scientifiques nécessite de combiner différentes sources de données (par exemple, images optiques, SAR, infrarouge). Et pour pouvoir quantifier les incertitudes et interpréter les résultats, ces modèles doivent être conscients de la physique qui relie les différentes modalités et les variables essentielles. Nous avons l'intention d'atteindre ces deux objectifs avec des modèles génératifs conditionnels informés par la physique. Objectifs de la thèse. La thèse portera sur les modèles génératifs conditionnels, et abordera les questions suivantes. 1. Quels modèles génératifs offrent le meilleur compromis entre passage à l'échelle et expressivité ? Typiquement, les modèles de diffusion de l'état de l'art sont trop complexes, nécessitent trop de traitement en inférence et trop d'images pour être entraînés. Des architectures plus légères telles que les VAE hiérarchiques ou les ''normalizing flows VAE'' sont plus faciles à entraîner et semblent suffisamment complexes pour modéliser les incertitudes. Une autre direction pourrait être d'utiliser des modèles fondation pré-entraînés, combinés avec des modèles génératifs simples comme les VAE classiques. Quel type de conditionnement peut-on ajouter dans le modèle pour prendre en compte la multimodalité ? Nous étudierons d'abord le conditionnement d'une modalité par rapport aux autres, puis dans un second temps le conditionnement par rapport à des paramètres physiques décrivant la modalité (par exemple, la longueur d'onde). Comment évaluer la qualité de la représentation, en termes de fidélité, diversité, qualité des incertitudes pour des applications réelles ? La méthodologie proposée sera mise en place sur des jeux de données de télédétection réels de taille modérée déjà utilisés dans le projet RELEO, par exemple les séries temporelles Sentinel 1 et Sentinel 2. Elle sera évaluée sur des cas d'usage réels tels que la classification de l'occupation des sols ou la détection de changements.

This PhD is part of the RELEO project, whose aim is to develop new representation learning strategies to build a Large Earth Observation Model, able to predict Essential Climate Variables from multi-modal remote sensing data. RELEO is part of ANITI-2, the follow-on of the Interdisciplinary Artificial Intelligence Institute in the frame of the French ANR “AI Clusters”. A critical question is how to represent Earth observation data while accounting for the uncertainties, that can be caused by the measurements themselves or that are predicted by physical models. The need for uncertainty quantification leads us towards deep generative models, that learn a probabilistic mapping between the data and a latent variable whose distribution is usually given beforehand. While a huge literature is devoted to generative representation learning, no existing techniques are fully adapted to remote sensing data because of several bottlenecks. We aim here at tackling two of them: multi-modality and interpretability. Indeed, using such large representation models in scientific applications requires combining different data sources (e.g., optical images, SAR, infrared). And to be able to quantify the uncertainties and interpret the results, those models should be aware of the physics that relates the different modalities and the essential variables. We intend to achieve both goals with conditional generative models informed by physics. Objectives of the PhD. The PhD will focus on conditional generative models, and will address the following questions. 1. What generative models offer the best trade-off between scalability and expressivity? Typically, state-of-the-art diffusion models are too complex, require too much processing in inference and too many images to be trained. Lighter architectures such as hierarchical VAEs or normalizing flow VAEs are easier to train and seem complex enough to model the uncertainties. Another direction could be to use pre-trained foundation models, combined with simple generative models such as vanilla VAEs. 2. What kind of conditioning can we add in the model to account for multi-modality? We will first investigate the conditioning of one modality w.r.t. the others, and in a second step the conditioning w.r.t. physical parameters that describe the modality (e.g., wavelength). 3. How to assess the quality of the representation, in terms of fidelity, diversity, quality of the uncertainties for real applications? The proposed methodology will be set up on real remote sensing datasets of moderate size already used in the RELEO project, for instance Sentinel 1 and Sentinel 2 time series. It will be evaluated on real use-cases such as land cover classification or change detection.