Restauration multi-image pour la photographie et vidéographie computationnelles

Multi-image restoration for computational photography and videography

• Auteur / Autrice : Antoine Monod
• Direction : Julie Delon
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 16/05/2023
• Etablissement(s) : Université Paris Cité
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : MAP5 - Mathématiques Appliquées à Paris 5
• Jury : Président / Présidente : Gabriele Facciolo
• Jury : Examinateurs / Examinatrices : Arthur Leclaire, Eva Coupeté, Andrés Almansa
• Jury : Rapporteur / Rapporteuse : Marcelo Bertalmío, David Tschumperlé

Mots clés

Mots clés contrôlés

Segmentation bayésienne

Apprentissage profond

Traitement d'images -- Techniques numériques

Vidéo numérique

Reconstruction d'image

Mots clés libres

Photographie computationnelle

Restauration d'images

Restauration de vidéos

Débruitage de rafales brutes

Pipeline de photographie

Apprentissage profond

Réseaux de neurones convolutifs

Imagerie Bayésienne

Méthodes proximales

Plug-And-Play (PnP)

Computational photography

Image restoration

Video restoration

Raw burst denoising

Photography pipeline

Deep learning

Convolutional Neural Network (CNN)

Bayesian imaging

Proximal methods

Plug-And-Play (PnP)

Résumé

Ce manuscrit explore les approches multi-images pour la restauration d'images et de vidéos. La restauration d'image à l'aide d'images multiples est étudiée à travers le débruitage de rafales brutes réelles, où plusieurs images corrompues par du bruit réel causé par le processus d'acquisition photographique sont combinées pour produire une seule image avec moins de bruit. Une approche algorithmique classique populaire de la littérature sur le débruitage de rafales est expliquée en détail, analysée et réimplémentée en open source. Compte tenu de l'omniprésence croissante des réseaux de neurones profonds et de leurs performances de l'état de l'art pour la restauration d'images et de vidéos au cours de la dernière demi-décennie, une deuxième approche basée apprentissage et guidée par les données est proposée pour le débruitage de rafales brutes. La comparaison des deux approches montre clairement l'intérêt accru pour ce type de tâche des réseaux de neurone convolutifs correctement conçus. La restauration de vidéos peut également tirer parti de l'information mutuelle de plusieurs images pour produire des résultats plus attrayants. Ce sujet est exploré ici via une méthode Deep Plug-and-Play (PnP). Ces méthodes consistent à introduire un réseau de neurones profond de débruitage dans un schéma d'optimisation utilisé pour résoudre des problèmes inverses, par exemple en utilisant le réseau de débruitage pour remplacer l'opérateur proximal de l'a priori sur les données dans un formalisme Bayésien. Alors que les méthodes Plug-and-Play ont été largement étudiées pour la restauration d'images, leur utilisation en restauration de vidéos est un territoire relativement inexploré, et constitue un élément clé de ce manuscrit. Ce manuscrit présente une nouvelle méthode de restauration de vidéos numériques via une approche Deep Plug-and-Play. Avec cette approche, un réseau entraîné une fois pour du débruitage peut être réutilisé pour de multiples tâches différentes de restauration vidéo telles que le défloutage vidéo, la super-résolution, le dématriçage et l'interpolation de pixels manquants aléatoires. Toutes nos expériences montrent un avantage clair à utiliser un réseau spécifiquement conçu pour le débruitage vidéo, car il donne de meilleures performances de restauration et une meilleure stabilité temporelle qu'un réseau mono-image avec des performances de débruitage similaires utilisant la même formulation PnP. Cette méthode se compare favorablement à l'application d'un autre schéma PnP de l'état de l'art séparément sur chaque image de la séquence, ouvrant de nouvelles perspectives dans le domaine de la restauration vidéo.

This manuscript explores multi-image approaches for image as well as video restoration. Image restoration using multiple images is studied through real raw burst denoising, where multiple images corrupted with real noise caused by the photographic acquisition process are combined to produce a single image with less noise. A popular classical algorithmic approach of the raw burst denoising literature is thoroughly explained, analyzed and reimplemented in an open source fashion. Given the increasing ubiquity of deep neural networks and their state-of-the-art performance for image and video restoration over the last half-decade, a second learning-based and data-driven approach is proposed for multi-frame raw burst denoising. Comparing the two clearly shows the appeal of properly designed convolutional neural networks for this kind of task. Video restoration can also leverage mutual information of multiple images to produce more appealing results. This topic is explored here via a Deep Plug-and-Play (PnP) method. Such methods consist in plugging a denoising deep neural network in an optimization scheme used to solve inverse problems, e.g. using the denoising network as a replacement for the proximal operator of the data prior under a Bayesian formalism. While Plug-and-Play methods have extensively been studied for image restoration, their use in video restoration is relatively uncharted territory, and is a key focus of this manuscript. This manuscript presents a novel method for restoring digital videos via a Deep Plug-and-Play approach. With it, a network trained once for denoising can be repurposed for multiple different video restoration tasks such as video deblurring, super-resolution, demosaicking and interpolation of random missing pixels. Our experiments all show a clear benefit to using a network specifically designed for video denoising, as it yields better restoration performance and better temporal stability than a single image network with similar denoising performance using the same PnP formulation. Said method compares favorably to applying a different state-of-the-art PnP scheme separately on each frame of the sequence, opening new perspectives in the field of video restoration.