Applications de la télédétection multi-image

Applications of multi-image remote sensing

• Auteur / Autrice : Roger Marí Molas
• Direction : Gabriele Facciolo, Enric Meinhardt-Llopis
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 14/12/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : Centre Borelli (Gif-sur-Yvette, Essonne ; 2020-...)
• Partenaire(s) de recherche : référent : École normale supérieure Paris-Saclay (Gif-sur-Yvette, Essonne ; 1912-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Mathématiques (2020-....)
• Jury : Président / Présidente : Pascal Monasse
• Jury : Examinateurs / Examinatrices : Mathieu Aubry, Marc Pierrot-Deseilligny, Pablo D'Angelo, Coloma Ballester, Rafael Grompone von Gioi
• Jury : Rapporteurs / Rapporteuses : Mathieu Aubry, Marc Pierrot-Deseilligny

Mots clés

Mots clés contrôlés

Photogrammétrie

Modélisation tridimensionnelle

Réseaux neuronaux (informatique)

Imagerie satellitaire

Mots clés libres

Reconstruction 3D multi-vues

Images satellites

Ajustement de faisceaux

Rendu neuronal

Multi-View 3D reconstruction

Satellite images

Bundle adjustment

Neural rendering

Résumé

Cette thèse étudie le problème de la reconstruction 3D à partir d'une collection d'images satellites à haute résolution. La reconstruction 3D multi-vues par satellite nécessite un contrôle très fin de la géométrie d'acquisition, afin de garantir la cohérence des estimations d'altitude obtenues à partir de différentes vues. La première partie de la thèse est donc consacrée à l'optimisation de la représentation mathématique de la géométrie d'acquisition, qui se présente généralement sous la forme de modèles de caméras RPC. Nous proposons une méthodologie d'ajustement de faisceaux qui maximise la cohérence géométrique entre un ensemble de vues satellites et les caméras RPC associées. Cette méthodologie intègre un algorithme d'estimation de modèles RPC qui permet la composition directe des modèles originaux non raffinés avec des transformations correctives, sans utiliser de représentations intermédiaires approximatives. La deuxième partie de la thèse présente différentes applications pratiques de la télédétection multi-image, dont la plupart profitent du contrôle de la cohérence de la géométrie d'acquisition. Les différentes méthodes concernent les sujets suivants~: la détection des changements de volume au niveau de la surface de la Terre à différentes dates ; la génération géométriquement cohérente de mosaïques à grande échelle construites à partir d'images satellites plus petites ; un réseau de rendu neuronal (NeRF) capable d'apprendre la géométrie d'une scène satellite et de synthétiser de nouvelles vues réalistes, avec la capacité de distinguer les ombres et les objets transitoires des structures permanentes ; et une comparaison entre les algorithmes classiques et les réseaux d'apprentissage profond supervisés pour la mise en correspondance stéréo. Comme résultat, cette thèse décrit une variété d'idées de pointe sur l'exploitation des images satellites optiques qui ont le potentiel d'améliorer les activités liées à la connaissance de la surface terrestre à grande échelle, comme la surveillance, la planification urbaine ou la gestion des ressources naturelles. Les méthodes présentées sont évaluées avec des images satellites WorldView-3 et SkySat à haute résolution. L'implémentation de la plupart des méthodes est également publiée en logiciel libre Python.

This thesis studies the problem of 3D reconstruction from a collection of high-resolution satellite images. Satellite multi-view 3D reconstruction requires a very fine control of the acquisition geometry, in order to guarantee the consistency of altitude estimates obtained from different views. The first part of the thesis is therefore devoted to the optimization of the mathematical representation of the acquisition geometry, which usually takes the form of RPC camera models. We propose a bundle adjustment methodology that maximizes the geometric consistency between a set of satellite views and the associated RPC cameras. This methodology incorporates an RPC estimation algorithm that allows the direct composition of the original unrefined models with corrective transformations, without using approximate intermediate representations. The second part of the thesis presents different practical applications of multi-image remote sensing, most of which benefit from the consistency control of the acquisition geometry. The different methods concern the following topics: the detection of volume changes on the Earth's surface across different dates; the geometrically consistent generation of large-scale mosaics built from smaller satellite images; a neural rendering network (NeRF) capable of learning the geometry of a satellite scene in a self-supervised manner and also of synthesizing new realistic views, with the ability to distinguish shadows and transient objects from permanent structures; and a comparison between classic algorithms and supervised deep learning networks for dense stereo matching. As a result, this thesis describes a variety of cutting-edge ideas on the exploitation of optical satellite images that have the potential to improve activities related to large-scale land surface knowledge, such as surveillance, urban planning or natural resource management. The presented methods are evaluated with high-resolution images from the WorldView-3 and SkySat constellations. The implementation of most methods is also released as open-source Python code.