Modèles de graphes probabilistes et méthodes d'apprentissage profond pour l'analyse d'images de télédétection

Probabilistic graphical models and deep learning methods for remote sensing image analysis

• Auteur / Autrice : Martina Pastorino
• Direction : Josiane Zerubia, Gabriele Moser
• Type : Thèse de doctorat
• Discipline(s) : Automatique, traitement du signal et des images
• Date : Soutenance le 12/12/2023
• Etablissement(s) : Université Côte d'Azur en cotutelle avec Università degli studi (Gênes, Italie)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Jón Atli Benediktsson
• Jury : Examinateurs / Examinatrices : Josiane Zerubia, Gabriele Moser, Jón Atli Benediktsson, Sébastien Lefèvre, Farid Melgani
• Jury : Rapporteurs / Rapporteuses : Sébastien Lefèvre, Farid Melgani

Mots clés

Mots clés contrôlés

Champs aléatoires de Markov

Réseaux neuronaux (informatique)

Modèles stochastiques d'apprentissage

Apprentissage profond

Traitement d'images -- Techniques numériques

Télédétection

Mots clés libres

Télédétection

Segmentation sémantique

Apprentissage profond

Modèles stochastiques

Réseau neuronal convulsif

Réseau entièrement convolutif

Modèles graphiques probabilistes

Champs aléatoires de Markov

Champs aléatoires conditionnels

Remote sensing

Semantic segmentation

Deep learning

Convolutional neural network

Fully convolutional network

Probabilistic graphical models

Markov random fields

Conditional random fields

Résumé

Grâce aux avancées actuelles des missions spatiales d'observation de la Terre, il est possible d'avoir accès à des images satellitaires à très haute résolution et multimodales. Les données acquises peuvent être optiques (par exemple, images panchromatiques, multispectrales et hyperspectrales) ou radar, avec différentes ouvertures synthétiques et divers compromis entre résolution et couverture. Cela offre un grand potentiel d'application dans le domaine de la télédétection. Un rôle important dans ce contexte est joué par la segmentation sémantique dont le but est d'attribuer chaque pixel d'une image à une classe sémantique, généralement liée à l'occupation du sol ou à l'utilisation des terres, et avec des applications importantes dans des domaines tels que la planification urbaine, l'agriculture de précision, la surveillance des espèces forestières, la gestion des catastrophes naturelles et la surveillance et l'atténuation du changement climatique.La présente thèse se concentre sur le développement de nouvelles méthodes d'analyse de données multimodales visant à exploiter pleinement toutes les informations disponibles multisources, multicapteurs, multirésolutions, etc. dans le domaine de la segmentation sémantique de l'imagerie de télédétection. Ces méthodes combinent des idées issues de modèles stochastiques et d'apprentissage profond. D'une part, l'apprentissage profond est actuellement l'approche dominante en matière de classification et de segmentation d'images. Grâce à leur formulation non paramétrique et aux étapes de traitement intrinsèquement multi-échelles qui caractérisent les réseaux de neurones convolutifs, les architectures d'apprentissage profond peuvent être utilisées efficacement pour la fusion et l'analyse d'images multimodales. Cependant, les performances des méthodes d'apprentissage profond sont remarquablement influencées par la quantité et la qualité de la vérité de terrain utilisée pour l'apprentissage. En revanche, les modèles graphiques probabilistes ont suscité un fort intérêt ces dernières années, en raison du besoin toujours croissant de prédictions structurées. En fonction de la topologie graphique sous-jacente sur laquelle ils sont définis, ils peuvent modéliser efficacement les informations spatiales et multirésolutions. L'objectif principal de la thèse est de développer des approches tirant parti des avantages de ces deux grandes familles méthodologiques - et par leur intégration - pour l'exploitation des données de télédétection multimodales et des informations complémentaires qu'elles véhiculent.Dans ce contexte, premièrement, une nouvelle méthode intégrant une modélisation graphique probabiliste, hiérarchique et causale, des réseaux entièrement convolutifs et, dans une formulation antérieure, des ensembles d'arbres de décision, est proposée. Ensuite, une méthode d'apprentissage profond est développée pour apprendre directement des modèles stochastiques, tels que des champs aléatoires conditionnels, à partir des données d'images d'entrées. Le potentiel de la fusion multimodale de l'imagerie de télédétection avec les données sur la demande de mobilité a été exploité pour proposer un modèle stochastique fondé sur le concept de région, pour la cartographie de l'utilisation des terres dans les zones urbaines. Enfin, des algorithmes de fusion multirésolutions pour la cartographie des zones forestières brûlées à partir de données avec un très grand rapport de résolution sont développés selon des concepts bayésiens, utilisant des graphes probabilistes et les réseaux neuronaux.Le cadre théorique des méthodes développées est décrit en détail dans cette thèse. Les validations expérimentales, réalisées avec des images satellitaires multimodales multispectrales, panchromatiques et radar, montrent l'efficacité des méthodes proposées. Les approches proposées sont également comparées aux méthodes de pointe récemment développées pour des applications similaires de segmentation sémantique.

Given the current advances in space missions for Earth observation, it is possible to have access to very-high-resolution and multimodal satellite imagery. The data acquired can be optical (e.g., panchromatic, multispectral, and hyperspectral images) or radar, with different synthetic aperture and various trade-offs between resolution and coverage. This offers great application potential in the field of remote sensing. An important role in this context is played by semantic segmentation whose purpose is to assign each pixel in an image to a semantic class, typically related to land cover or land use and with prominent applications in areas such as urban planning, precision agriculture, monitoring of forest species, natural disaster management, and climate change monitoring and mitigation.The present thesis focuses on the development of novel methods for the analysis of multimodal data aimed at fully exploiting all the available multisource, multisensor, multiresolution, etc., information, in the field of semantic segmentation of remote sensing imagery. These methods combine ideas from stochastic models and deep learning. On the one hand, deep learning is currently the dominant approach to image classification and segmentation. Thanks to their non-parametric formulation and the intrinsically multiscale processing stages that characterize convolutional neural networks, deep learning architectures can be effectively employed for multimodal image fusion and analysis. However, the performances of deep learning methods are remarkably influenced by the quantity and quality of the ground truth used for training. On the other hand, probabilistic graphical models have sparked major interest in the past few years, because of the ever-growing need for structured predictions. Depending on the underlying graph topology over which they are defined, they can effectively model spatial and multiresolution information. The main goal of the thesis is to develop approaches leveraging the advantages of these two major methodological families - per se and through their integration - for the exploitation of multimodal remote sensing data and of the complementary information they convey.In this context, first, a novel method integrating causal hierarchical probabilistic graphical modeling, fully convolutional networks and, in an earlier formulation, decision tree ensembles, is proposed. Then, a deep learning method is developed to directly learn stochastic models, such as conditional random fields, from the input image data. The potentiality of the multimodal fusion of remote sensing imagery with mobility demand data was exploited to propose a stochastic region-based model for land-use mapping in urban areas. Finally, multiresolution fusion algorithms for burnt forest area mapping from data with very large resolution ratio are developed according to Bayesian, probabilistic graphical, and neural concepts.The theoretical framework of the developed methods is described in details. The experimental validations, conducted with multimodal multispectral, panchromatic, and radar satellite images, suggest the effectiveness of the proposed methods. The proposed approaches are also compared to recent state of the art methods developed for similar semantic segmentation applications.