Practical video denoising and demosaicing with neural networks

Débruitage et dématriçage concret de videos avec des réseaux de neurones

• Auteur / Autrice : Valéry Dewil
• Direction : Gabriele Facciolo, Pablo Arias
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 05/12/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre Borelli (Gif-sur-Yvette, Essonne ; 2020-...)
• Partenaire(s) de recherche : Référent : École normale supérieure Paris-Saclay (Gif-sur-Yvette, Essonne ; 1912-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Mathématiques (2020-….)
• Jury : Président / Présidente : Frédéric Dufaux
• Jury : Examinateurs / Examinatrices : Antoni Buades, Nicolas Papadakis, Pablo Musé
• Jury : Rapporteur / Rapporteuse : Antoni Buades, Nicolas Papadakis

Mots clés

Mots clés contrôlés

Intelligence artificielle

Vision par ordinateur

Traitement d'images

Mots clés libres

Débruitage

Traitement video

Dématriçage

Entraînement auto-supervisé

Traitement en ligne

Denoising

Video Processing

Demosaicing

Self-supervised training

Online Processing

Résumé

Depuis l’ère de la photographie numérique,le débruitage est devenu une tâche fondamentale du traitement d’images. Il y a deux catégories de méthodes de débruitage : les méthodes traditionnelles basées sur des modélisations et celles basées sur l’apprentissage d’un réseau de neurones. Les méthodes traditionnelles requièrent un modèle explicite du bruit.Inversement les méthodes basées sur l’apprentissage peuvent être entraînées pour n’importe quel type de bruit et sont très performantes.Nous nous intéressons au cas des méthodes de débruitage basées sur l’apprentissage. L’approche traditionnelle consiste à utiliser des réseaux de neurones convolutionnels entraînés sous supervision. Les récentes techniques auto-supervisées atteignent des résultats légèrement inférieurs mais tout de même compétitifs avec ceux obtenus par les approches supervisées et ne s’appuient pas sur la supervision d’une vérité-terrain. Elles sont de bonnes candidates pour le débruitage de vidéos réelles. Nous proposons la première méthode auto-supervisée pour entraîner des réseaux de neurones de débruitage vidéo. Cette méthode,appelée MF2F peut être utilisée pour adapter n’importe quel réseau de neurones de débruitage pour débruiter une grande collection de types de bruit.MF2F repose sur un ajustage fin des paramètres d’un réseau de neurones de débruitage initialement pré-entraîné. Sur des vidéos bruitées à bruit réel,elle a donné des résultats extrêmement prometteurs puisqu’elle était devenue le nouvel état de l’art au moment de la publication.À ce stade, nous pouvons faire deux observations : (1) Les CNNs peuvent être entraînés avec les entraînements supervisés et auto-supervisés. Le dernier est dominé par le premier et (2) les expériences menées avec notre méthode auto-supervisée MF2F montrent que cette dernière est très propice au débruitage de données réelles. Partant de ces deux constatations,quelle technique devons-nous utiliser pour entraîner unréseau de débruitage afin de débruiter des vidéos à bruit réel? Nous répondons à cette question dans la deuxièmepartie de la thèse.Avec le débruitage, le dématriçage est une autre étape très importante de l’acquisition d’une image RGB. Ellessont traditionnellement effectuées séparément mais lemieux serait d’effectuer ces deux opérations en mêmetemps. Dans la troisième partie de la thèse, nous considérons différentes architectures conduisant à la première méthode traitant le problème de débruitage et dématriçage conjoint pour vidéo.

Image denoising is a fundamental task in image processing. The goal of denoising is to recover the underlying signal. Several methods have been proposed. They can be classified in 2: the model-based approaches and the data-driven methods. Model-based methods need a model of the signal and noise. These approaches could be adapted to handle other noise types but this has revealed to be a tedious task since we potentially need to redesign the initial algorithms. On the other hand, the learning-based approaches have many advantages. First, even if they are trained for a specific noise, a same neural network architecture could be trained to handle any noise type. Second, they have advanced significantly the state of the art. For this reasons we are interested in the case of data-driven denoising methods. The standard approach is to use CNN, trained under supervision. A dataset of clean/noisy pairs is needed. However, acquiring a dataset of real images or videos with clean data is a difficult. For the case of images, it is possible to circumvent this by generating a pseudo noiseless image by aggregating numerous noisy frames or equivalently increasing the exposure time for instance. However, those tricks are no longer conceivable for the case of videos.Self-supervised techniques (which do not rely on the supervision of a clean data) have been proposed for image denoising.Although these methods achieve worst results that their supervised counterparts, they proved to be competitive.This means that self-supervised approaches are suitable candidates for video denoising.In this thesis, we propose the first self-supervised method for training multi-frame video denoising networks.This framework, called MF2F, can be used to adapt any denoising neural network to a large family of noise types. This effectively results in a blind denoising method. MF2F relies on a self-supervised fine-tuning of a pre-trained denoising network. For several synthetic noise types, a network fine-tuned with this proposed approach competes with the noise-specific network trained under supervision. On real noisy videos, it has given very promising results, setting the state of the art at the moment of the publication.For now, two observations can be done: (1) CNNs can be trained with two training techniques which are supervised and self-supervised learning, the latter being dominated by the former (at least on synthetic data) and (2) the self-supervised technique MF2F achieves auspicious results on real data. From those two statements, the natural question is to determine which one should be used to trained a denoising network when dealing with real data. In the second part of the thesis, we focus on answering this question and we describe the study we did to compare both approaches as well as the obtained results.After denoising, demosaicing is also a very important step in the acquisition of an RGB image. Traditionally, denoising is done before demosaicing, but there are some papers claiming that it is beneficial to operate demosaicing before. The best is even to operate both operations together in the same time. Joint denoising and demosaicing (JDD) methods have been proposed for image denoising. Still, the case of videos has been far much less studied. While the two first parts of the thesis focus on training network for practical use cases, this third part is devoted to the architecture. Starting from the promising results on real raw videos obtained with the framework MF2F, we examine different architectures for video JDD, evaluating the impact of aspects such as motion compensation and recurrent/non-recurrent approaches. The best results were obtained by a simple recurrent CNN with a multi-scale architecture, hopefully setting a baseline for future research in the subject.Both the multi-scale and recurrent CNN are not novel, yet this is the only method at this time that operates joint denoising and demosaicing for videos.