Restauration d’images à faible luminosité à l’aide de méthodes d’apprentissage profond

Low-light image restoration with deep learning techniques

• Auteur / Autrice : Arthur Lecert
• Direction : Christine Guillemot
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, vision
• Date : Soutenance le 20/12/2023
• Etablissement(s) : Université de Rennes (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique)
• Jury : Président / Présidente : Laetitia Chapel
• Jury : Examinateurs / Examinatrices : Christine Guillemot, Raoul de Charette, Aline Roumy
• Jury : Rapporteurs / Rapporteuses : Enrico Magli, Thomas Oberlin

Mots clés

Mots clés contrôlés

Apprentissage profond

Problèmes inverses

Reconstruction d'image

Traitement d'images -- Techniques numériques

Mots clés libres

Amélioration de la luminosité

Décomposition d'image

Restauration d'image

Problème inverse

Modèle Retinex

Apprentissage profond

Low-Light enhancement

Image decomposition

Image restoration

Inverse problems

Retinex model

Deep learning

Résumé

Aujourd'hui, de nombreux domaines évoluent pour inclure des algorithmes de vision par ordinateur. Or, ceux-ci n'ont pas été conçus pour fonctionner sur des scènes nocturnes. Leurs performances s'en trouvent fortement dégradées ce qui limite leurs applications. Cela est dû aux fortes dégradations lors de la capture d'images de nuit. Elles prennent la forme d'un faible rapport signal à bruit ainsi que de déviations de couleur. Dans cette thèse, nous répondons à cette problématique en cherchant à les restaurer à l'aide de méthodes d'apprentissage profond. Notre contexte nous force à nous concentrer sur des méthodes non supervisées qui n'hallucinent pas. Dans un premier temps, nous identifions une solution triviale au niveau de l'illumination ignorée jusqu'à maintenant. Nous proposons un a priori pour corriger ce problème ainsi qu'une méthode de restauration qui ne nécessite pas de jeu de données d'apprentissage. Nous obtenons des résultats proches des méthodes de l'état de l'art supervisées. Dans un deuxième temps, nous revenons sur les définitions des composantes du modèle Retinex et proposons plusieurs améliorations afin de suivre la physique de la lumière. Une architecture basée GAN est ensuite définie. Notre méthode garantit qu'aucune hallucination n'est ajoutée en sortie. Enfin, dans un dernier temps, nous dévoilons le lien entre notre objectif et le problème du pont de Schrödinger. Nous intégrons des a priori à un algorithme de transport optimal à base de modèles de diffusion afin d'inverser les dégradations.

Nowadays, many fields are evolving to include computer vision algorithms. However, these algorithms have not been designed to operate in night scenes. This severely degrades their performance, which limits their applications. This is due to the severe degradations that occurs when night images are captured. These mainly take the form of a low signal-to-noise ratio and color deviations. In this thesis, we address this problem by seeking to restore them using deep learning methods. Our context forces us to focus on unsupervised methods that do not hallucinate. First, we identify a trivial solution in the decomposition that has been ignored until now. We propose a prior to correct this problem, as well as an restoration method that does not require a dataset. We obtain results close to the state-of-the-art supervised methods. Secondly, we review the definitions of the Retinex model components and propose several improvements to keep them coherent with the physics of light. A GAN-based architecture is then defined. Our method ensures that no hallucination is added to the output. Finally, we unveil the link between our goal and the Schrödinger bridge problem. We integrate physical priors to an optimal transport algorithm based on diffusion models to reverse the degradations.