Modèles génératifs et transport optimal pour la restauration d'images

Generative models and optimal transport for image restoration

• Auteur / Autrice : Simon Mignon
• Direction : Bruno Galerne
• Type : Projet de thèse
• Discipline(s) : Mathématiques
• Date : Inscription en doctorat le 01/10/2021
• Etablissement(s) : Orléans
• Ecole(s) doctorale(s) : Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes - MIPTIS
• Partenaire(s) de recherche : Laboratoire : Institut Denis Poisson (Orléans, Tours ; 2018-....)

Mots clés

Mots clés libres

Réseau de neurones

Traitement d'images

Transport optimal

Apprentissage profond

Image processing

Deep learning

Neural networks

Optimal transport

Résumé

Cette thèse vise à explorer le potentiel de l'intégration de modèles génératifs profonds dans des approches variationnelles de résolution de problèmes inverses d'imagerie, en particulier de restauration d'images. Nous proposons dans cette thèse d'adopter une approche variationnelle pour la restauration d'images, dans laquelle un modèle génératif profond est utilisé pour induire des propriétés statistiques. Plus précisément, il s'agira de construire une pénalité permet-tant de favoriser des solutions dont les propriétés statistiques sont proches d'un modèle génératif appris sur un ensemble d'images cibles. Le travail portera aussi bien sur des modèles fournissant une densité que sur des modèles implicites. La modélisation se fera à l'échelle de patchs : des réseaux génératifs profonds seront appris sur des patchs cibles. Il s'agira ensuite de pénaliser une divergence entre la distribution empirique des patchs restaurés et celle du modèle génératif appris. Cette divergence sera basée sur une version régularisée de la formulation de Kantorovich du problème du transport optimal. Elle permettra ainsi de pouvoir employer aussi bien des modèles à densité que des modèles implicites.

This thesis aims to explore the potential of integrating deep generative models into variational approaches to solving inverse imaging problems, in particular image restoration. In this thesis, we propose to adopt a variational approach for image restoration, in which a deep generative model is used to induce statistical properties. More precisely, it will be a question of constructing a penalty allowing to favor solutions whose statistical properties are close to a generative model learned on a set of target images. The work will focus on models providing a density as well as on implicit models. The modeling will be done at the patch scale: deep generative networks will be learned on target patches. It will then be a question of penalizing a divergence between the empirical distribution of the restored patches and that of the learned generative model. This divergence will be based on a regularized version of Kantorovich's formulation of the optimal transport problem. It will thus make it possible to use both density models and implicit models.