Définition Haute-Précision d’en Haut : Avancement de la Super-Résolution des Images Satellitaires via Auto-Supervision

High-Definition from Above : Advancing Satellite Imagery Super-Resolution via Self-Supervision

• Auteur / Autrice : Ngoc-Long Nguyen
• Direction : Gabriele Facciolo, Pablo Arias
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques aux interfaces
• Date : Soutenance le 20/10/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : Centre Borelli
• Partenaire(s) de recherche : référent : Ecole Normale Supérieure Paris-Saclay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Mathématiques (2020-....)
• Jury : Président / Présidente : Jean Ponce
• Jury : Examinateurs / Examinatrices : Andrés Almansa, Enrico Magli, Florence Tupin, Charlotte Pelletier, Thibaud Ehret
• Jury : Rapporteurs / Rapporteuses : Andrés Almansa, Enrico Magli

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Télédétection

Apprentissage profond

Mots clés libres

Super-Résolution single-Images

Super-Résolution multi-Images

Auto-Supervision

Apprentissage profond

Télédétection

Single-Image super-Resolution

Multi-Image super-Resolution

Self-Supervision

Deep learning

Remote sensing

Résumé

Cette thèse contribue au domaine de l’observation de la Terre (OT) en faisant progresser les techniques de super-résolution dans l’imagerie satellitaire, en abordant à la fois les défis de l’imagerie multi-image et single-image. L’accent est mis sur la surmontée d’un problème prévalent dans la télédétection : l’absence de données de vérité terrain en haute résolution. Nous adressons cela à travers des méthodes innovantes d’apprentissage auto-supervisé, qui permettent l’entraînement de modèles sans cibles conventionnelles en haute résolution. Dans la super-résolution multi-image, notre cadre Deep Shift-and-Add (DSA), conçu pour les capteurs SkySat, illustre une approche auto-supervisée nouvelle. Il combine efficacement la fusion shift-and-add avec l’apprentissage auto-supervisé pour gérer l’absence de données en haute résolution, établissant une nouvelle norme dans le domaine. Pour la super-résolution single-image, nous exploitons les propriétés uniques de l’imagerie Sentinel-2 pour développer des techniques auto-supervisées spécialisées. Ces méthodes améliorent la récupération des détails, dépassant la résolution intrinsèque du capteur. Notre recherche aborde non seulement des défis spécifiques dans la super-résolution d’images satellitaires, mais suggère également l’applicabilité plus large de nos méthodes à diverses plateformes satellitaires et types de données, offrant une direction prometteuse pour les futures explorations dans le traitement d’images satellitaires et les technologies OT.

This thesis contributes to the field of Earth Observation (EO) by advancing super-resolution techniques in satellite imagery, tackling both multi-image and single-image challenges. A key focus is overcoming the prevalent issue in remote sensing: the absence of high-resolution ground truth data. We address this through innovative self-supervised learning methods, which allow for model training without conventional high-resolution targets. In the realm of multi-image super-resolution, our Deep Shift-and-Add (DSA) framework, designed for SkySat sensors, exemplifies a novel self-supervised approach. It effectively combines shift-and-add fusion with self-supervised learning to handle the absence of high-resolution data, setting a new standard in the field. For single-image super-resolution, we leverage the unique properties of Sentinel-2 imagery to develop specialized self-supervised techniques. These methods enhance detail recovery, exceeding the sensor's inherent resolution. Our research not only addresses specific challenges in satellite imagery super-resolution but also hints at the broader applicability of our methods across various satellite platforms and data types, offering a promising direction for future exploration in satellite image processing and EO technologies.