Modèles génératifs profonds pour la super-résolution stochastique d'images

Stochastic super resolution using deep generative models

• Auteur / Autrice : Emile Pierret
• Direction : Bruno Galerne
• Type : Projet de thèse
• Discipline(s) : Mathématiques
• Date : Inscription en doctorat le 01/09/2022
• Etablissement(s) : Orléans
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes (Centre-Val de Loire ; 2012-....)
• Partenaire(s) de recherche : Laboratoire : Institut Denis Poisson (Orléans, Tours ; 2018-....)

Mots clés

Mots clés libres

Super-résolution

Réseaux de neurones convolutifs

Modèles de diffusion

Super resolution (SR)

Convolutional Neural Networks (CNN)

Generative Adversarial Networks (GAN)

Denoising Diffusion Probabilistic Models (DDPM)

Score-based models

Conditional image generation

Résumé

Le problème de super résolution à partir d'une unique image (SISR pour single image super resolution) consiste à générer une image haute résolution (HR) correspondant à une image d'entrée basse résolution (LR pour low resolution) donnée. Il s'agit d'un problème inverse très mal posé qui nécessite un modèle d'image a priori pour créer des images ayant des bords nets et des détails de texture riches. Ces dernières années les méthodes faisant appel à des réseaux de neurones profonds ont révolutionné les approches pour de tels problèmes inverses. En effet, l'entraînement de réseaux sur de larges bases d'images naturelles permet d'obtenir des modèles d'images a priori assez riches. Un des aspects importants est la génération de détails locaux au niveau des textures présentent dans les images. Alors que le problème de SISR peut être considéré comme une synthèse de texture conditionnelle locale, une inspection minutieuse des méthodes état de l'art montre cependant que la modélisation de texture n'est réalisée que par le réseau discriminateur de boîte noire des modèles GAN (Generative Adversarial Networks). L'objectif principal de la thèse de doctorat proposée est de développer de nouveaux réseaux SISR permettant un échantillonnage stochastique dans la variété d'images HR plausibles conditionnées à une entrée LR donnée. Nous nous intéresserons aux statistiques du modèle inféré et notamment leurs performances sur des images de textures naturelles. Nous favoriserons l'étude de modèles d'images mathématiques pour lesquels plusieurs images HR pourront être simulées pour une seule image LR. Cela nous permettra de constituer des bases de données inédites pour l'entraînement des réseaux. Pour cela nous devrons développer une nouvelle méthodologie pour l'entraînement, en se basant notamment sur des méthodes numériques pour le transport optimal.

The main goal of the proposed PhD thesis is to develop new SISR networks allowing for stochastic sampling in the manifold of plausible HR images conditioned to a given LR input. We will focus on the statistics of the inferred model and notably their performance on natural texture images. First we will especially focus on the estimation of the local variability learned by the neural network model and check experimentally if the local variance is in accordance with image content (textured regions VS. smooth regions). Second, we will focus on stationary texture models for which a stochastic conditional super resolution is mathematically well-defined. First investigations suggest that this includes stationary Gaussian textures using Gaussian conditional sampling that has already been proven efficient for texture inpainting. This set of texture models could be enlarged using maximal entropy models based on CNN statistics. We ambition that these conditional texture models would provide mathematically sound measures to quantify the amount of stochasticity produced by state-of-the-art SISR networks such as SR3. Third, thanks to realistic models for conditional texture synthesis, we will be able to generate an image database with many HR images for a given LR texture image. To the best of our knowledge this setting has never been used for SISR neural network training. Indeed, when using natural images only, the database is limited to couples of a single HR groundtruth image with its associated LR degradation. Using a database with many possible HR images for a given LR image opens the way to investigation of new training schemes beyond an L2 reconstruction error. Indeed, for a given LR image, one would compare an empirical distribution of true HR images with a distribution of generated HR images. Mathematical and numerical solutions based on optimal transport will be investigated for elaborating a training cost adapted to this favorable situation.