Modèles fondamentaux géo-spatiaux pour l'observation de la Terre : intégration de données textuelles et de télédétection.

Geo-spatial foundation models for Earth observation: integrating textual data and remote sensing.

• Auteur / Autrice : Hugo Riffaud de turckheim
• Direction : Roberto Interdonato
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 31/10/2024
• Etablissement(s) : Université de Montpellier (2022-....)
• Ecole(s) doctorale(s) : École Doctorale Information, Structures, Systèmes
• Partenaire(s) de recherche : Laboratoire : TETIS - Territoire Environnement Teledetection et Information Spatiale
• Partenaire(s) de recherche : Equipe de recherche : ATTOS Acquisition, Télédétection, Traitement et Observations Spatiales

Mots clés

Mots clés libres

Modèles fondationnels

Traitement du langage naturel

Observation de la Terre

Télédétection

Données géo-spatiales

Remote Sensing

Geo-spatial Data

Foundational Models

Natural Language Processing

Earth Observation

Résumé

Le projet GEO-ReSeT a pour objectif de tirer parti des grandes quantités de données géo-spatiales disponibles provenant de différentes sources. Ce projet vise à apprendre une représentation riche de chaque emplacement géo-spatial et à transmettre une représentation sémantique de l'information, en améliorant les modèles existants. En utilisant la localisation sur la surface terrestre comme lien commun entre différentes modalités, un modèle fondamental géo-spatial pourrait intégrer une variété de sources de données, y compris des images de télédétection et des descriptions textuelles de lieux, afin de fournir une compréhension plus approfondie des informations géo-spatiales. Un tel modèle fondamental a le potentiel d'ouvrir de nouvelles possibilités en matière d'applications d'observation de la Terre. Cela permettrait des solutions à peu ou pas d'exemples pour des problèmes classiques tels que la cartographie des types d'occupation des sols, la détection d'objets et le questionnement visuel. De plus, cela sera utile pour un large éventail d'applications ayant une composante géo-spatiale, y compris la surveillance environnementale, l'urbanisme et l'agriculture. En exploitant plusieurs modalités de données, ce modèle fondamental pourrait fournir une compréhension complète et précise de la surface terrestre, permettant des décisions et actions éclairées pour différents utilisateurs.

The GEO-ReSeT project aims to leverage the vast amounts of geo-spatial data available from various sources. This project seeks to learn a rich representation of any geo-spatial location and convey a semantic representation of the information by improving existing models. By using location on the Earth's surface as the common link between different modalities, a geo-spatial foundation model could integrate a variety of data sources, including remote sensing imagery and textual descriptions of places, to provide a deeper understanding of geo-spatial information. Such a foundation model has the potential to unlock new possibilities for Earth observation applications. It would allow for few or zero-shot solutions to classical problems such as land-cover and land-use mapping, object detection, and visual question answering. Furthermore, it would be beneficial for a wide range of applications with a geo-spatial component, including environmental monitoring, urban planning, and agriculture. By leveraging multiple data modalities, this foundation model could provide a comprehensive and accurate understanding of the Earth's surface, enabling informed decisions and actions for various users.