Régularisation avec des réseaux de neurones génératifs

Regularization with deep generative networks

• Auteur / Autrice : Maud Biquard
• Direction : Thomas Oberlin, Marie Chabert
• Type : Projet de thèse
• Discipline(s) : Informatique et Télécommunications
• Date : Inscription en doctorat le 03/10/2022
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications
• Partenaire(s) de recherche : Laboratoire : ISAE-ONERA MOIS MOdélisation et Ingénierie des Systèmes
• Partenaire(s) de recherche : Equipe de recherche : ISAE/DISC/MITT Département d'Ingéniérie des Systèmes Complexes

Mots clés

Mots clés libres

Restauration d'image

Réseaux génératifs

Apprentissage profond

Image restoration

Generative models

Deep learning

Résumé

Les réseaux de neurones profonds ont réalisé des avancées majeures dans le domaine de la vision par ordinateur au cours de la dernière décennie et ont été appliqués avec succès à des tâches de traitement ou de reconstruction d'images, telles que le débruitage, la déconvolution, la compression, le pan-sharpening ou la super-résolution. L'approche standard résout directement la tâche de reconstruction d'image, en entraînant de bout en bout un réseau convolutif profond. De telles approches peuvent difficilement être utilisées dans l'imagerie satellite pour deux raisons principales. Premièrement, les architectures profondes sont difficilement interprétables et présentent des instabilités. Deuxièmement, leur entraînement nécessite beaucoup de temps de calcul et le réglage de nombreux hyper paramètres, ce qui est particulièrement problématique car, pour l'imagerie satellite, le modèle physique nécessite de réentraîner systématiquement le réseau pour chaque satellite. Des travaux plus récents consistent à utiliser l'inversion ''classique'' du modèle, en utilisant les réseaux de neurones uniquement pour la régularisation. Le travail fondateur utilise des modèles génératifs profonds pour une régularisation en synthèse, où la solution du problème inverse est recherchée dans l'espace latent du modèle génératif. Dans cette thèse, nous envisageons de généraliser cette approche pour la rendre compatible avec la diversité des images satellites. Une première recherche méthodologique sera consacrée à l'amélioration de la capacité de régularisation du réseau de neurones génératif en changeant l'a priori gaussienne standard dans l'espace latent par un a priori plus discriminante, par exemple basée sur la parcimonie. Une deuxième contribution méthodologique consistera à proposer des architectures plus légères que les modèles génératifs, qui pourraient tirer parti de la représentation et de la distribution latente apprises par les autoencodeurs de compression. Les méthodes proposées seront adaptées et testées sur plusieurs applications réelles en imagerie satellite, telles que la suppression des artefacts de compression, la déconvolution, la super-récolution ou le pan-sharpening des images.

Deep neural networks achieved a major breakthrough in computer vision in the past decade and have been successfully applied to image processing or reconstruction tasks such as denoising, deblurring, compression, pan-sharpening or super-resolution. The standard approach directly solves the image reconstruction task, by end-to-end training a deep convolutional network. Such approaches can hardly be used in satellite imaging for two main reasons. First, deep architectures are hardly interpretable and exhibit instabilities. Second, their training require a large amount of GPU time and the tuning of numerous hyper parameters, which is particularly problematic as, for satellite imaging, the physical model require to systematically retrain the network for each satellite. More recent works consist of using the well-known model-based inversion, using neural networks only for regularization. The seminal work uses deep generative models for a synthesis regularization, where the solution of the inverse problem is searched in the latent space of the generative model. In this PhD, we plan to generalize this approach to make it cope with the diversity of satellite images. A first methodological research will be devoted to improve the regularization ability of generative neural network by changing the standard Gaussian prior in the latent space by a more discriminating one, for instance based on sparsity. A second methodological contribution will propose lighter architectures instead of generative models, that could leverage the representation and the latent distribution learnt by compression autoencoders. The proposed methods will be adapted and challenged on several real applications in satellite imaging, such as compression artefact removal, image deblurring, image super-recolution or image pan-sharpening.