Réseaux génératifs et contraintes physiques pour la synthèse d'images de nuages et de texture

Physically constrained generative networks for cloud and texture synthesis

• Auteur / Autrice : Pierrick Chatillon
• Direction : Yann Gousseau, Sidonie Lefebvre
• Type : Thèse de doctorat
• Discipline(s) : Signal, images, automatique et robotique
• Date : Soutenance le 19/12/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....) - Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....)
• Jury : Président / Présidente : Agnès Desolneux
• Jury : Examinateurs / Examinatrices : Agnès Desolneux, Bruno Galerne, Javier Portilla, Frédéric Szczap, Coloma Ballester
• Jury : Rapporteur / Rapporteuse : Bruno Galerne, Javier Portilla

Mots clés

Mots clés contrôlés

Télédétection

Nuages

Texture (traitement d'images)

Traitement d'images -- Techniques numériques

Mots clés libres

Modèles génératifs

Synthèse de textures

Nuages

Super-Résolution

Generative models

Texture synthesis

Cloud imaging

Super-Resolution

Résumé

L'évaluation de la performance des capteurs optiques nécessite de disposer de bases données de fonds nuageux, par exemple pour prédire quand les satellites peuvent communiquer avec la Terre ou détecter de petits objets, comme des drones, dans un ciel nuageux.Des algorithmes d'apprentissage profond peuvent être déployés pour ces applications, nécessitant de grandes bases d'entraînement.L'accès à de telles données est un défi, car les systèmes passifs utilisés pour les observations atmosphériques ne fournissent que des vues partielles, et les bases construites par des modélisations physiques sont coûteuses.Nous avons donc développé des méthodes d'apprentissage profond palliant à ce besoin de disposer de grandes quantités d'images de nuages, avec pour objectif le maintien des propriétés spectrales et radiométrique des images.Les simulations physiques sont limitées en termes de résolution spatiale si la zone à couvrir est importante.Par conséquent, nous avons exploré deux approches de super-résolution pour augmenter la définition des images. Les deux approches relèvent des méthodes internes, qui exploitent la redondance de l'information présente dans une seule image, à différents endroits et différentes échelles. Les deux méthodes tirent parti des propriétés fractales des fonds nuageux, et utilisent un réseau génératif comme modèle commun pour différentes résolutions. Ces méthodes permettent de générer des images respectant la décroissance en puissance du spectre de Fourier, descripteur essentiel des textures nuageuses.Dans un second volet, nous avons exploré des méthodes de synthèse de textures. Nous proposons une méthode de génération d'images de nuages à partir de paramètres physiques. Ce modèle génératif est capable de contrôler le comportement spectral et le comportement de l'histogramme des images générées, garantissant ainsi que les statistiques souhaitées sont respectées. Ce dernier exploite une pondération du bruit multi-échelle pour asservir la pente spectrale. Enfin nous avons exploré la synthèse de texture d'un point de vue général, et proposé une structure d'auto-encodeur adaptée aux textures, et enrichie pour traiter le cas des textures présentant des motifs périodiques.Dans son ensemble, notre travail contribue à la génération d'images de nuages réalistes à partir de données en nombre limité, en préservant les propriétés spectrales et radiométriques, grâce à des approches multi-échelles tirant parti des caractéristiques fractales des nuages.

Evaluating the performance of optical sensors requires large-scale databases of cloud backgrounds, for example to predict optical link availability between ground stations and satellites and detecting small objects like drones against cloudy skies.Deep learning algorithms can be implemented for these purposes, requiring large training databases.Accessing such databases is challenging since passive systems used for atmospheric observations provide only partial views, and databases constructed through physical modeling are costly.We have therefore developed deep learning methods to overcome this need for large quantities of cloud images, with the aim of maintaining the spectral and radiometric properties of the images.Physical simulations are limited in terms of spatial resolution if the area to be covered is large. Hence, we explored two super-resolution approaches to enhance image definition. Both methods belong to internal methods, exploiting information redundancy within a single image at different locations and scales. They leverage the fractal properties of cloud backgrounds and use a generative network as a common model for various resolutions. These methods enable the generation of images exhibiting a power decay of the spectral density, an essential descriptor of cloud textures.A different direction of our research involves exploring texture synthesis methods. We introduce a generative model for cloud image generation based on physical parameters. This model can control the spectral behavior and histogram characteristics of the generated images, given set of physical descriptors. It utilizes an appropriate multi-scale noise weighting to govern the spectral slope. Finally, we delved into texture synthesis from a general perspective, proposing an auto-encoder structure adapted to textures and enriched to handle textures with periodic patterns.Overall, our work contributes to generating realistic cloud images from limited data, preserving spectral and radiometric properties, thanks to multi-scale approaches that leverage the fractal characteristics of clouds.