Apprentissage profond pour l'interprétation des images satellitaires

Deep learning for remote sensing images and their interpretation

• Auteur / Autrice : Ines Meraoumia
• Direction : Florence Tupin, Loïc Denis
• Type : Thèse de doctorat
• Discipline(s) : Signal, images, automatique et robotique
• Date : Soutenance le 14/12/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....) - Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....)
• Jury : Président / Présidente : Julie Delon
• Jury : Examinateurs / Examinatrices : Julie Delon, Emmanuel Trouvé, Thomas Oberlin, Ronan Fablet, Andrea Marinoni
• Jury : Rapporteurs / Rapporteuses : Emmanuel Trouvé, Thomas Oberlin

Mots clés

Mots clés contrôlés

Traitement d'images

Photo-interprétation

Imagerie satellitaire

Apprentissage profond

Mots clés libres

Sar

Apprentissage profond

Imagerie Satellitaire

Sar

Deep learning

Remote Sensing

Résumé

Le radar à synthèse d'ouverture (SAR) n'est pas impacté par la présence de nuages ou la luminositéet permet donc l'acquisition d'images riche sen informations pour l'observation de la Terre (chapitre1). De fortes fluctuations appelées ”speckle” sont n´néanmoins visibles sur ces images et rendent leur interprétation difficile. Le “speckle” est un phénomène intrinsèque à l'illumination cohérente de la scène par le capteur : des images sans speckle ne peuvent donc pas être acquises. Les propriétés du specklesont différentes de celles du bruit additif blanc gaussien usuellement utilisé en imagerie optique. Les algorithmes de despeckling sont donc propres aux statistiques du speckle du modèle de Goodman (chapitre 2). Récemment, des m´méthodes d'apprentissage profond ont donné de très bons résultats pour la restauration d'une seule image SAR. Les travaux proposés utilisent le traitement conjoint de plusieurs images SAR pour améliorer leur restauration en exploitant l'informationcommune tout en empêchant la propagation de potentielles différences (chapitre 3).Le chapitre 4 est centré sur le despeckling des images Sentinel-1 GRDM Extra Wide de la glace de mer. La glace se déplaçant rapidement sur la mer, des changements structurels apparaissent rapidement sur une zone d'intérêt, rendant les piles multi-temporelles inexploitables.Le bruit thermique de ces images ne peut pas être négligé car les valeurs de r ´ effectivité ´ede l'eau et de la glace sont très faibles et proches du seuil du bruit thermique. Notre m´méthode de despeckling utilise et restaure conjointement les canaux polarimétriques HH et HV. L'entrainement autosupervisé du réseau s'inspire de la m´méthode SAR2SAR, en prenant en entrée des images corrigées où la composante de bruit thermique a été supprimée. La qualité des images Sentinel-1 de l'Arctique restaurées avec notre approche est bien meilleure que celle obtenue avec d'autres techniques de restauration.Utiliser l'information partagée au sein d'une pile multi-temporelle tout en ignorant l'impact des changements temporels améliore le despeckling. Des méthodes de despeckling multi-temporel basées sur un moyennage temporel ou l'utilisation d'une super-image sontd'abord présentées dans le chapitre 5. Un modèle génératif est ensuite proposé afin d'expliciter la formation d'une pile multi-temporelle d'image SAR en tenant compte des corrélations spatiales et temporelles du speckle. Une extension multi-temporelle de la méthode MERLIN est basée sur ce modèle génératif et prend en entrée des images additionnelles de la même zone mais acquises à des dates différentes.L'entrainement du réseau est non supervisé et s'inspire de la méthode Noise2Noise : la partie réelle (ou la partie imaginaire) de l'image et les dates additionnelles sont transmises au réseau et la partie imaginaire (ou la partie réelle) est utilisée comme cible.L'ajout d'images supplémentaires améliore la restauration des images SAR avec un gain d´ décroissant.Un blanchiment temporel est proposé pour éviter une perte de performance liée aux corrélations temporelles entre les canaux d'entrée.L'absence d'image de référence rend l´évaluation des méthodes de despeckling difficile. Le chapitre 6 se concentre sur la quantification des incertitudes liées à la prédiction d'un réseau. Des travaux combinant le despeckling et l'estimation d'une carte d'incertitudes sont d'abord présentés. Dans le cadre d'origine, une seule valeur de réflectivité est prédite pour chaque pixel, alors que nous visons à prédire une distribution pour chaque pixel. Les paramètres des lois uniforme puis inverse gamma sont estimés lors de l'entraînement. La difficulté à quantifier les incertitudes dans un cadre d'apprentissage auto-supervisé où le niveau de bruit est élevé est ensuite discutée. En utilisant le réseau MERLIN, la prédiction de la carte moyenne des différences entre les prédictions basées sur la partie réelle et imaginaire fournit une carte d'incertitudes satisfaisante.

Synthetic Aperture Radar (SAR) images are not affected by the presence of clouds or variations of sunlight. They provide very useful information for Earth observation (chapter 1).They are impacted by strong fluctuations called "speckle" which make their interpretation difficult. The speckle is a phenomenon intrinsic to the coherent illumination of the scene by the radar, meaning that speckle-free images can not be captured and used as reference to train models.The properties of speckle are different from that of the traditional additive white Gaussian noise used to model corruptions in optical images, and proper despeckling algorithms are needed. Most of them rely on statistics derived from the Goodman's model (chapter 2). Recently, deep learning based methods have been very successful at despeckling a single SAR image. This work focuses on improving the despeckling performance by jointly processing several input images to exploit the common information while still preventing the propagation of differences from one image to another (chapter 3).The despeckling of Sentinel-1 GRDM Extra Wide images of sea ice is studied in Chapter 4 for sea ice studies. The ice is shifting quickly on the sea and multi-temporal stacks of a specific area can not be used for despeckling purposes due to structural changes. In the images, thermal noise can not be neglected because the reflectivity values of water and ice are very low and close to the thermal noise floor. We propose a dual-polarimetric despeckling framework where HH and HV polarimetric channels are used as input and are jointly despeckled in a single pass. The network is trained in a self-supervised way inspired by the existing SAR2SAR framework and takes corrected images where the thermal noise floor level has been removed as input. Our approach shows a clear improvement over existing image restoration techniques on Sentinel-1 images of the Artic.Despeckling can be improved by combining measurements pertaining to common information within the temporal stack while ignoring data impacted by temporal changes.First, multi-temporal despeckling methods using temporal averaging and the computation of a super-image (i.e. despeckled temporal mean image) are introduced at the beginning of Chapter 5. A generative model is then proposed to explicit the statistics of SAR multi-temporal stacks and account for the spatial and temporal correlations of speckle. A multi-temporal extension of the existing MERLIN framework is derived from this model. The network is fed with additional images of the same area acquired at different dates. It is trained in an unsupervised way inspired by the Noise2Noise framework: the real part (or the imaginary part) of the image and additional dates are fed to the network and the imaginary part (or the real part) is used as a target. Adding more images continuously improves the despeckling performance, but with diminishing gains.A temporal whitening is proposed to prevent the drop of performance of the network when the input channels are temporally correlated.Despeckling methods are hard to evaluate because of the lack of ground truth images. Chapter 6 focuses on uncertainty quantification for despeckling using deep learning.First, works are presented to combine despeckling and estimation of the uncertainty map during the training. Starting from a framework where only one value is predicted for each pixel, we aim at predicting a distribution for each pixel. Parameters of uniform and inverse gamma distributions are estimated. The sharper the distribution, the more certain the network is of its prediction. We discuss the difficulty of estimating uncertainties in a self-supervised learning framework where the noise level is high and the limits faced by our formulations.Working with the MERLIN framework, an estimation of an uncertainty map is proposed based on the expected difference map between predictions from the real and imaginary parts.