Thèse soutenue

Practical video denoising and demosaicing with neural networks
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Valéry Dewil
Direction : Gabriele FaccioloPablo Arias
Type : Thèse de doctorat
Discipline(s) : Mathématiques appliquées
Date : Soutenance le 05/12/2022
Etablissement(s) : université Paris-Saclay
Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
Partenaire(s) de recherche : Laboratoire : Centre Borelli (Gif-sur-Yvette, Essonne ; 2020-...)
référent : École normale supérieure Paris-Saclay (Gif-sur-Yvette, Essonne ; 1912-....)
graduate school : Université Paris-Saclay. Graduate School Mathématiques (2020-....)
Jury : Président / Présidente : Frédéric Dufaux
Examinateurs / Examinatrices : Antoni Buades, Nicolas Papadakis, Pablo Musé
Rapporteurs / Rapporteuses : Antoni Buades, Nicolas Papadakis

Résumé

FR  |  
EN

Depuis l’ère de la photographie numérique,le débruitage est devenu une tâche fondamentale du traitement d’images. Il y a deux catégories de méthodes de débruitage : les méthodes traditionnelles basées sur des modélisations et celles basées sur l’apprentissage d’un réseau de neurones. Les méthodes traditionnelles requièrent un modèle explicite du bruit.Inversement les méthodes basées sur l’apprentissage peuvent être entraînées pour n’importe quel type de bruit et sont très performantes.Nous nous intéressons au cas des méthodes de débruitage basées sur l’apprentissage. L’approche traditionnelle consiste à utiliser des réseaux de neurones convolutionnels entraînés sous supervision. Les récentes techniques auto-supervisées atteignent des résultats légèrement inférieurs mais tout de même compétitifs avec ceux obtenus par les approches supervisées et ne s’appuient pas sur la supervision d’une vérité-terrain. Elles sont de bonnes candidates pour le débruitage de vidéos réelles. Nous proposons la première méthode auto-supervisée pour entraîner des réseaux de neurones de débruitage vidéo. Cette méthode,appelée MF2F peut être utilisée pour adapter n’importe quel réseau de neurones de débruitage pour débruiter une grande collection de types de bruit.MF2F repose sur un ajustage fin des paramètres d’un réseau de neurones de débruitage initialement pré-entraîné. Sur des vidéos bruitées à bruit réel,elle a donné des résultats extrêmement prometteurs puisqu’elle était devenue le nouvel état de l’art au moment de la publication.À ce stade, nous pouvons faire deux observations : (1) Les CNNs peuvent être entraînés avec les entraînements supervisés et auto-supervisés. Le dernier est dominé par le premier et (2) les expériences menées avec notre méthode auto-supervisée MF2F montrent que cette dernière est très propice au débruitage de données réelles. Partant de ces deux constatations,quelle technique devons-nous utiliser pour entraîner unréseau de débruitage afin de débruiter des vidéos à bruit réel? Nous répondons à cette question dans la deuxièmepartie de la thèse.Avec le débruitage, le dématriçage est une autre étape très importante de l’acquisition d’une image RGB. Ellessont traditionnellement effectuées séparément mais lemieux serait d’effectuer ces deux opérations en mêmetemps. Dans la troisième partie de la thèse, nous considérons différentes architectures conduisant à la première méthode traitant le problème de débruitage et dématriçage conjoint pour vidéo.