Modèles de Fondation Géospatiaux Multi-Modaux pour l'Analyse des Environnements Urbains

Multimodal Geospatial Foundation Models for the Analysis of Urban Environments

• Auteur / Autrice : Thomas Hallopeau
• Direction : Isabelle Mougenot
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2025
• Etablissement(s) : Université de Montpellier (2022-....)
• Ecole(s) doctorale(s) : École Doctorale Information, Structures, Systèmes
• Partenaire(s) de recherche : Laboratoire : ESPACE DEV - Observation Spatiale, Modèles et Science Impliquée
• Partenaire(s) de recherche : Equipe de recherche : Systèmes d'information et de connaissances

Mots clés

Mots clés libres

Réseaux de Neurones Profonds

Vision par Ordinateur

Analyse Géospatiale Intra-Urbaine

Observation de la Terre

Apprentissage Auto-Supervisé

Géomatique

Intra-Urban Geospatial Analysis

Deep Learning Neural Networks

Earth observation

Computer Vision

Self-Supervised Learning

Geomatics

Résumé

L'essor des modèles de fondation (Foundation Models, FMs) en apprentissage profond a révolutionné l'analyse géospatiale, en particulier pour l'Observation de la Terre (OT). Cependant, pour l'étude des environnements urbains, les modèles actuels de télédétection (RSFMs) souffrent d'un manque de spécificité et d'une dépendance exclusive aux images satellites. Cette thèse vise à développer un modèle de fondation géospatial multimodal spécialisé pour l'analyse intra-urbaine, intégrant des images satellitaires (radar et optiques) et des données auxiliaires issues d'OpenStreetMap (OSM). La méthodologie repose sur la constitution d'un jeu de données urbain global, le pré-entraînement de modèles spécialisés et leur validation expérimentale à travers des études appliquées au Brésil et au Cambodge. Ce travail répondra aux questions suivantes : 1) Comment équilibrer la quantité et la spécificité des données de pré-entraînement? 2) L'intégration de données auxiliaires améliore-t-elle la performance des modèles? 3) Comment fusionner efficacement les représentations issues de différentes modalités ? Les résultats contribueront à l'amélioration des méthodes de modélisation géospatiale et seront mis à disposition de la communauté scientifique via des publications et du code open-source, selon les principes de la science ouverte.

The rise of foundation models (FMs) in deep learning has transformed geospatial analysis, particularly in Earth Observation (EO). However, for urban environments analysis, current remote sensing foundation models (RSFMs) lack specificity and flexibility to rely on other data sources than satellite imagery. This thesis aims to develop a multimodal geospatial foundation model specialized in intra-urban analysis, integrating satellite imagery (radar and optical) with auxiliary data from OpenStreetMap (OSM). The methodology includes building a global urban dataset, pre-training specialized models, and conducting experimental validation through case studies in Brazil and Cambodia. This work will address the following questions: 1) How to balance the quantity and specificity of pre-training data? 2) Does integrating auxiliary data improve model performance? 3) How can representations from different modalities be effectively unified? The results will contribute to advancing geospatial modeling techniques and will be shared with the scientific community through publications and open-source code, in alignment with open science principles.