Fusion de données hyperspectrales et panchromatiques dans le domaine réflectif

Fusion of hyperspectral and panchromatic data in the reflective domain

• Auteur / Autrice : Yohann Constans
• Direction : Xavier Briottet, Yannick Deville
• Type : Thèse de doctorat
• Discipline(s) : Physique
• Date : Soutenance le 19/04/2022
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Aéronautique-Astronautique (Toulouse)
• Partenaire(s) de recherche : Equipe de recherche : Équipe d'accueil doctoral Optronique, laser, imagerie physique, environnement Spatial (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Laboratoire : Office national d'études et de recherches aérospatiales (France). Centre d'études et de recherches de Toulouse
• Jury : Président / Présidente : Ali Mansour
• Jury : Examinateurs / Examinatrices : Xavier Briottet, Yannick Deville, David Brie, Thomas Corpetti, Sophie Fabre, Benjamin Szymanski, Arnaud Le Bris
• Jury : Rapporteurs / Rapporteuses : David Brie, Thomas Corpetti

Mots clés

Mots clés contrôlés

Imagerie satellitaire

Réflexion (optique)

Imagerie hyperspectrale

Mots clés libres

Pansharpening

Pixels mixtes

Hyperspectral

Fusion d'images

Domaine réflectif

Panchromatique

Mixed pixels

Reflective domain

Image fusion

Panchromatic

Pansharpening

Hyperspectral

Résumé

Les capteurs satellitaires ne pouvant acquérir des images d'observation de la Terre à hautes résolutions spatiale et spectrale, une solution consiste à combiner une image panchromatique (PAN) à haute résolution spatiale avec une image hyperspectrale (HS) à haute résolution spectrale, pour générer une nouvelle image hautement résolue spatialement et spectralement. Ce procédé de fusion, appelé pansharpening HS, présente toutefois certaines limitations, parmi lesquelles la gestion des pixels HS mixtes, particulièrement présents en milieu urbain.Cette thèse a pour objectif de développer et valider une nouvelle méthode de pansharpening HS dans le domaine réflectif [0,4 - 2,5 µm] optimisant la reconstruction des pixels mixtes. Pour ce faire, une méthode de la littérature appelée Spatially Organized Spectral Unmixing (SOSU) a été choisie comme point de départ. Elle est basée sur des étapes de prétraitement de démélange spectral et de réorganisation spatiale des pixels mixtes, et une étape de fusion appelée Gain.Afin d'évaluer les méthodes de fusion, des jeux de données simulés présentant plusieurs niveaux de complexité spatiale et acquis par différents instruments ont été construits à partir de données aéroportées existantes. D'autre part, un protocole robuste d'évaluation de performances a été proposé. Il est basé sur le protocole de Wald et l'application de critères de qualité à différentes échelles spatiales et sur différents domaines spectraux, et il est complété par un produit à valeur ajoutée (cartes d'occupation des sols par classification supervisée).Des améliorations ont été apportées à SOSU pour l'adapter progressivement à des scènes de complexité spatiale élevée. Une nouvelle approche de réorganisation spatiale par analyse combinatoire a été proposée pour le traitement des milieux agricoles à péri-urbains. Des améliorations supplémentaires ont été apportées pour le traitement des milieux urbains, en modélisant notamment l'analyse combinatoire comme un problème d'optimisation, et ont conduit à la méthode Combinatorial OptimisatioN for 2D ORganisation (CONDOR). Les performances de cette méthode ont été évaluées et comparées à celles de méthodes de référence. Elles ont révélé des améliorations visuelles et numériques de la qualité de la reconstruction, et ont montré que la limitation la plus importante provient de la non-représentation du domaine SWIR [1,0 - 2,5 µm] dans l'image PAN en entrée de la fusion.Un nouveau choix d'instrumentation, reposant sur l'utilisation d'une seconde voie PAN dans le domaine SWIR II [2,0 - 2,5 µm], a ainsi été introduit pour dépasser cette limitation. Les méthodes Gain-2P et CONDOR-2P, extensions des méthodes Gain et CONDOR prenant en compte cette seconde voie PAN, ont été développées. L'analyse des résultats a révélé l'apport conséquent de ces deux méthodes étendues (jusqu'à 60 % et 45 % d'amélioration par rapport à leurs versions initiales sur des données respectivement péri-urbaines et urbaines), ainsi que l'amélioration de la qualité de l'image fusionnée avec CONDOR-2P par rapport à Gain-2P (jusqu'à 9 % d'amélioration).Enfin, une étude de sensibilité a été menée afin d'évaluer la robustesse des méthodes proposées vis-à-vis des défauts et caractéristiques instrumentaux (rapport de résolutions spatiales, déregistration, bruit et fonction de transfert de modulation), en choisissant des configurations représentatives des instruments satellitaires existants. Malgré la sensibilité de l'ensemble des méthodes aux différents paramètres, les analyses ont montré que CONDOR-2P obtient quasi-systématiquement la meilleure qualité de reconstruction, et se révèle particulièrement robuste vis-à-vis de l'augmentation du rapport de résolutions spatiales (10 % d'amélioration par rapport à Gain-2P pour une valeur de 8 en milieu péri-urbain).

As satellite sensors cannot acquire Earth observation images with high spatial and spectral resolutions, a solution is combining a high spatial resolution panchromatic (PAN) image with a high spectral resolution hyperspectral (HS) image, to generate a new image with high resolution in both dimensions. This fusion process, called HS pansharpening, suffers from some limitations, including mixed pixel handling. Such pixels are particularly abundant in urban environment.The objective of this thesis is to develop and validate a new HS pansharpening method in the [0.4 - 2.5 µm] spectral domain optimising the reconstruction of mixed pixels. To this end, one method from the literature, called Spatially Organized Spectral Unmixing (SOSU), has been chosen as a starting point. It is based on mixed pixel preprocessing steps including spectral unmixing and spatial reorganisation, and a fusion step called Gain.To evaluate fusion methods, simulated datasets presenting several spatial complexity levels and acquired by different instruments have been constructed from existing airborne data. In addition, a robust performance assessment protocol has been proposed. It is based on Wald's protocol and quality criteria applied at different spatial scales and to different spectral domains, and it is supplemented by additional ground truth (land cover maps).Improvements have been made to gradually adapt SOSU to high spatial complexity scenes. Firstly, a new spatial reorganisation approach by combinatorial analysis has been proposed for the processing of agricultural to peri-urban environments. Additional improvements have been made for the processing of urban environments by modeling the combinatorial analysis as an optimisation problem which led to the Combinatorial OptimisatioN for 2D ORganisation (CONDOR) method. This method has been evaluated and compared with reference methods in terms of performance. Analysis of the results has revealed visual and numerical enhancements of fusion quality, and have shown that the most important limitation is related to the non-representation of the [1.0 - 2.5 µm] SWIR domain in the PAN input image.A new instrument concept was introduced to overcome this limitation, by adding a second PAN channel in the [2.0 - 2.5 µm] SWIR II domain. The Gain-2P and CONDOR-2P methods, extensions of the Gain and CONDOR methods taking into account this second PAN channel, have been developed. Analysis of the results from these two extended methods revealed their significant contribution (up to 60 % and 45 % of improvement as compared with their initial versions, respectively on peri-urban and urban data), as well as an enhanced quality of the image fused by CONDOR-2P as compared with Gain-2P (up to a 9 % improvement).Finally, a sensitivity study has been performed to evaluate the robustness of the proposed methods with respect to instrumental defaults and characteristics (spatial resolution ratio, deregistration, noise and modulation transfer function), using configurations representative of existing satellite instruments. Despite the sensitivity of all methods to the different parameters, analyses have shown that CONDOR-2P almost systematically provides best reconstruction quality, and is particularly robust to the increasing of the spatial resolution ratio (10 % of improvement as compared with Gain-2P for a 8 ratio in peri-urban environment).