Intelligence artificielle appliquée aux séries temporelles d'images satellites pour la surveillance des écosystèmes

Artificial Intelligence for Ecosystem Monitoring using Remote Sensing and Digital Agriculture Data

• Auteur / Autrice : Valentine Bellet
• Direction : Jordi Inglada, Mathieu Fauvel
• Type : Thèse de doctorat
• Discipline(s) : Surfaces et interfaces continentales, Hydrologie
• Date : Soutenance le 29/02/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Sciences de l’univers, de l’environnement et de l’espace (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Centre d'études spatiales de la biosphère (Toulouse ; 2001-....)
• Partenaire(s) de recherche : Etablissement de délivrance conjointe : Université Toulouse 3 Paul Sabatier (1969-2024)
• Jury : Président / Présidente : Marie Chabert
• Jury : Examinateurs / Examinatrices : Anne Puissant, Charlotte Pelletier
• Jury : Rapporteurs / Rapporteuses : Francesca Bovolo, Dino Ienco

Mots clés

Mots clés contrôlés

Séries chronologiques

Intelligence artificielle

Télédétection

Écosystèmes

Mots clés libres

Télédétection

Intelligence artificielle

Écosystèmes

Classification grande échelle

Processus Gaussiens

Séries temporelles d'images satellites

Remote sensing

Artificial intelligence

Ecosystem

Large-scale classification

Gaussian Processes

Satellite image time series

Résumé

Dans un contexte de changement climatique, la surveillance des écosystèmes est une mission essentielle. En effet, cela permet de mieux comprendre les changements qui peuvent affecter les écosystèmes mais aussi de prendre des décisions en conséquence afin de préserver les générations actuelles et futures. Les cartes d'occupations du sol sont un outil indispensable en fournissant des informations sur les différents types de couverture physique de la surface de la Terre (e.g. forêts, prairies, terres agricoles). Actuellement, un nombre accru de missions satellites fournissent un volume important de données gratuites et librement accessibles. Les séries temporelles d'images satellites (SITS), dont celles de Sentinel-2, notamment grâce à leurs très hautes résolutions, informent sur la dynamique de la végétation. Des algorithmes d'apprentissage automatique permettent de produire de manière fréquente et régulière des cartes d'occupations du sol à partir de SITS. L'objectif de cette thèse est le développement d'algorithmes de classification supervisée pour la production de cartes d'occupations du sol à grande échelle. Dans un contexte opérationnel, quatre principaux défis se dégagent. Le premier concerne le volume important de données que les algorithmes doivent être capables de gérer. Le second est lié à la prise en compte des corrélations entre les variables spectro-temporelles et leur extraction pour la classification. Le troisième, quant à lui, correspond à la prise en compte de la variabilité spatiale: dans des zones géographiques étendues, la donnée n'est pas stationnaire. Enfin, le quatrième défi concerne l'utilisation de SITS irrégulièrement échantillonnées et non alignées, principalement du aux conditions météorologiques (e.g. nuages) ou à des dates d'acquisitions différentes entre deux orbites. Cette thèse est divisée en deux contributions principales. La première contribution concerne la mise en place de processus gaussiens stochastiques variationnels (SVGP) pour des SITS à grande échelle. Des millions d'échantillons peuvent être utilisés pour l'apprentissage, au lieu de quelques milliers pour les processus gaussiens (GP) traditionnels. Des combinaisons de fonctions de covariances ont été mis en place permettant notamment de prendre en compte l'information spatiale et d'être plus robuste vis à vis de la variabilité spatiale. Cependant, les SITS sont ré-échantillonnés linéairement indépendamment de la tâche de classification. La deuxième contribution concerne donc la mise en place d'un ré-échantillonnage optimisé pour la tâche de classification. Un interpolateur à noyau prenant en compte l'information spatiale permet de produire une représentation latente qui est donnée à notre SVGP. Les expérimentations ont été menées avec les SITS de Sentinel-2 pour l'ensemble de l'année 2018 sur une zone d'environ 200 000 km^2(environ 2 milliards de pixels) dans le sud de la France (27 tuiles MGRS). Ce dispositif expérimental est représentatif d'un cadre opérationnel. Les résultats obtenus montrent que les modèles issus des deux contributions sont plus performants que la méthode utilisée pour les systèmes opérationnels actuels (i.e. forêts d'arbres aléatoires avec des SITS linéairement ré-échantillonnées utilisant la stratification spatiale).

In the context of climate change, ecosystem monitoring is a crucial task. It allows to better understand the changes that affect them and also enables decision-making to preserve them for current and future generations. Land use and land cover (LULC) maps are an essential tool in ecosystem monitoring providing information on different types of physical cover of the Earth's surface (e.g. forests, grasslands, croplands). Nowadays, an increasing number of satellite missions generate huge amounts of free and open data. In particular, satellite image time series (SITS), such as the ones produced by Sentinel-2, offer high temporal, spectral and spatial resolutions and provide relevant information about vegetation dynamics. Combined with machine learning algorithms, they allow the production of frequent and accurate LULC maps. This thesis is focused on the development of pixel-based supervised classification algorithms for the production of LULC maps at large scale. Four main challenges arise in an operational context. Firstly, unprecedented amounts of data are available and the algorithms need to be adapted accordingly. Secondly, with the improvement in spatial, spectral and temporal resolutions, the algorithms should be able to take into account correlations between the spectro-temporal features to extract meaningful representations for the purpose of classification. Thirdly, in wide geographical coverage, the problem of non-stationarity of the data arises, therefore the algorithms should be able to take into account this spatial variability. Fourthly, because of the different satellite orbits or meteorological conditions, the acquisition times are irregular and unaligned between pixels, thus, the algorithms should be able to work with irregular and unaligned SITS. This work has been divided into two main parts. The first PhD contribution is the development of stochastic variational Gaussian Processes (SVGP) on massive data sets. The proposed Gaussian Processes (GP) model can be trained with millions of samples, compared to few thousands for traditional GP methods. The spatial and spectro-temporal structure of the data is taken into account thanks to the inclusion of the spatial information in bespoke composite covariance functions. Besides, this development enables to take into account the spatial information and thus to be robust to the spatial variability of the data. However, the time series are linearly resampled independently from the classification. Therefore, the second PhD contribution is the development of an end-to-end learning by combining a time and space informed kernel interpolator with the previous SVGP classifier. The interpolator embeds irregular and unaligned SITS onto a fixed and reduced size latent representation. The obtained latent representation is given to the SVGP classifier and all the parameters are jointly optimized w.r.t. the classification task. Experiments were run with Sentinel-2 SITS of the full year 2018 over an area of 200 000 km^2 (about 2 billion pixels) in the south of France (27 MGRS tiles), which is representative of an operational setting. Results show that both methods (i.e. SVGP classifier with linearly interpolated time series and the spatially kernel interpolator combined with the SVGP classifier) outperform the method used for current operational systems (i.e. Random Forest with linearly interpolated time series using spatial stratification).