Amélioration des résolutions spatiale et spectrale d'images satellitaires par réseaux antagonistes.

Improvement of the spatial and spectral resolutions of satellite images by generative adversarial networks.

• Auteur / Autrice : Anaïs Gastineau
• Direction : Jean-François Aujol, Yannick Berthoumieu
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Soutenance le 06/12/2021
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Institut de mathématiques de Bordeaux - Laboratoire de l'intégration du matériau au système (Talence, Gironde)
• Partenaire(s) de recherche : Equipe de recherche : Image Optimisation et Probabilités
• Jury : Président / Présidente : Marie Chabert
• Jury : Examinateurs / Examinatrices : Jean-François Aujol, Yannick Berthoumieu, Jocelyn Chanussot, Ronan Fablet, Andrés Almansa, Christian Germain
• Jury : Rapporteurs / Rapporteuses : Jocelyn Chanussot, Ronan Fablet

Mots clés

Mots clés contrôlés

Optimisation mathématique

Imagerie satellitaire

Traitement d'images -- Techniques numériques

Mots clés libres

Fusion d'images

Télédétection

Réseaux antagonistes génératifs

Termes de régularisation

Multi-Discriminateurs

Mécanismes d'attention

Image fusion

Remote sensing

Generatif adversarial networks

Regularization terms

Multi-Discriminators

Attention mechanisms

Résumé

De plus en plus d'applications, telles que la cartographie ou la classification de l'occupation des sols, nécessitent des images hautes résolutions de la surface de la Terre, mais ces données ne sont pas toujours disponibles. Ainsi, cette thèse porte sur le problème de fusion d'images panchromatiques et multispectrales dans le but d'exploiter au mieux les richesses spatiale et spectrale de chacune de ces données. Pour atteindre cet objectif, cette thèse explore plusieurs aspects liés à l'optimisation du problème ou bien aux architectures considérées.De manière générale, la paramétrisation des réseaux convolutifs est souvent suffisante pour supporter la diversité des problèmes rencontrés. La base de données d'apprentissage est alors considérée comme le vecteur principal de conditionnement au problème traité. Ainsi, dans un contexte de réseaux antagonistes génératifs, nous proposons d'intégrer une modélisation plus fine du problème de "pansharpening" quant à la conception même du réseau. Nous avons également évalué l'impact sur les performances de reconstruction de différentes formulations de la fonctionnelle globale à minimiser tenant compte des spécificités de l'application.Dans un premier temps, nous étudions les différents types de régularisation existant dans un cadre variationnel pour ensuite utiliser cette connaissance afin d'ajouter ce type de contraintes géométrique et spectrale dans la fonction de perte du générateur.Dans un second temps, nous étudions des solutions liées aux architectures considérées pour le générateur et le discriminateur. En effet, nous proposons l'utilisation de plusieurs discriminateurs, chacun répondant à une tâche différente mais complémentaire. Le premier discriminateur se concentre sur la préservation de la résolution spatiale en prenant en compte la luminance et la composante infra-rouge, très informative d'un point de vue de la texture pour la végétation, des images satellites. Le second discriminateur préserve la résolution spectrale en comparant les composantes chromatiques Cb et Cr. Nous étudions également l'ajout de mécanismes d'attention dans le générateur. Nous considérons des mécanismes d'attention spatiale et spectrale pour améliorer la précision de reconstruction du générateur. En effet, ces mécanismes ont pour objectif d'attirer l'attention du générateur sur les parties de l'image les plus pertinentes pour améliorer le résultat.L'ensemble des pistes que nous avons explorées a conduit à des résultats convaincants, à la fois quantitatifs et visuels. En effet, nous avons pu observer une amélioration notable de la précision des reconstructions spatiale et spectrale, contribuant ainsi à résoudre le problème de fusion d'images panchromatique et multispectrale.

More and more applications, such as mapping or soil classification, need high-resolution images of the surface of the Earth, but this high-resolution data are not always available. Thus, this thesis deals with the problem of fusing panchromatic and multispectral images in order to make the best use of spatial and spectral content of each of these data. To reach this goal, this thesis explores several solutions linked with the optimization of the problem or with the architectures considered.In general, the parameterization of convolutional networks is often sufficient to support the diversity of the problems considered. The training database is then considered as the main vector for conditioning the addressed problem. Thus, in a context of generative adversarial networks, we propose to integrate a finer modeling of the pansharpening problem with regard to the network design. We also compared the impact on the reconstruction performance of different formulations of the global functional to minimize by taking into account the specificities of the application.In the first place, we study the different types of existing terms of regularization in a variational framework in order to use this study to add this type of geometric and spectral constraints in the loss function of the generator.Then, we study solutions related to the architectures considered for the generator and the discriminator. Indeed, we propose the use of several discriminators, each one responding to a different but complementary task. The first discriminator focuses on preserving spatial resolution by taking into account the luminance and the infrared component, highly informative for the texture in vegetation area, of satellite images. The second discriminator preserves the spectral resolution by comparing the Cb and Cr components. We also study the addition of attention mechanism in the generator. We consider spatial and spectral attention mechanisms to improve the reconstruction accuracy of the generator. Indeed, these mechanisms aim to focus the attention of the generator to the most relevant parts of the image to improve the result.All the proposed methods lead to convincing results, both quantitative and visual. Indeed, we can see an improvement in the precision of the spatial and spectral reconstructions, thus helping to resolve the pansharpening problem.