Apprentissage profond pour problèmes inverses en imagerie par champs de lumière et en imagerie omni-directionnelle

Deep learning for inverse problems and application to omni-directional imaging

• Auteur / Autrice : Rita Fermanian
• Direction : Christine Guillemot
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, vision
• Date : Soutenance le 06/12/2023
• Etablissement(s) : Université de Rennes (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique) - SIROCCO
• Jury : Président / Présidente : Charles Kervrann
• Jury : Examinateurs / Examinatrices : Christine Guillemot, Charles Yaacoub, Nicolas Papadakis, Mikaël Le Pendu
• Jury : Rapporteurs / Rapporteuses : Andrés Almansa, Saïd Moussaoui

Mots clés

Mots clés contrôlés

Problèmes inverses

Apprentissage profond

Mots clés libres

Problèmes inverses

Régularisation

Deep learning

Images omnidirectionnelles

Plug-And-Play

Débruitage

Inverse problems

Regularization

Deep learning

Omnidirectional images

Plug-And-Play

Denoising

Résumé

Cette thèse est consacrée à contribuer à des solutions d'apprentissage profond pour régulariser des problèmes inverses en imagerie perspective et omnidirectionnelle. Dans la première partie, nous nous concentrons sur les images 2D et nous commençons par proposer de régulariser le Deep Image Prior avec le débruiteur DRUNet de pointe. Cette combinaison améliore les performances du DIP et se compare favorablement avec les méthodes qui ont été proposées précédemment pour le régulariser. Ensuite, nous proposons une nouvelle approche pour entraîner un réseau modélisant le gradient d'un régulariseur en utilisant un débruiteur appris. Nous utilisons ce réseau dans un algorithme de descente de gradient Plug-and-play et montrons qu'il surpasse les méthodes génériques existantes. Dans la deuxième partie de cette thèse, nous nous concentrons sur les images omnidirectionnelles et nous abordons le problème du débruitage, comme première étape vers des méthodes de régularisation basées sur le débruiteur. Nous introduisons un nouveau débruiteur sphérique, en transférant le débruiteur DRUNet de pointe sur la sphère. Nous montrons également que le débruitage d'images omnidirectionnelles est plus efficace lorsqu'il est effectué directement sur la sphère plutôt que débruiter sa projection.

This thesis is devoted to contribute to deep learning solutions to regularize inverse problems in perspective and omnidirectional imagery. In the first part of this manuscript, we focus on perspective imagery and we begin by proposing to regularize the Deep Image Prior with the state-of-the-art DRUNet denoiser. This combination enhances the performance of the DIP and compares favourably with the methods that have been proposed previously to regularize it. Then, we propose a novel approach to train a network modeling the gradient of a regularizer by using a deep denoiser. We use this network in a Plug-and-play gradient descent algorithm and show that it outperforms existing generic methods. In the second part of this thesis, we focus on omnidirectional images and we address the problem of omnidirectional image denoising, as a first step towards denoiser-based regularization methods. We introduce a novel spherical denoiser, by transferring the state-of-the-art DRUNet denoiser into the sphere. We also show that omnidirectional image denoising is more efficient when performed directly on the sphere rather than a corresponding mapping.