Algorithmes de mappage de tonalités HDR dépendant du content

Content-aware HDR tone mapping algorithms

• Auteur / Autrice : Abhishek Goswami
• Direction : Frédéric Dufaux, Wolf Hauser
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et des images
• Date : Soutenance le 21/03/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des signaux et systèmes (Gif-sur-Yvette, Essonne ; 1974-....)
• Partenaire(s) de recherche : Equipe de recherche : Signaux
• Partenaire(s) de recherche : Référent : CentraleSupélec (2015-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Sylvie Le Hégarat
• Jury : Examinateurs / Examinatrices : Céline Loscos, Alan Chalmers, Sabine Süsstrunk, Patrick Le Callet
• Jury : Rapporteur / Rapporteuse : Céline Loscos, Alan Chalmers

Mots clés

Mots clés contrôlés

Perception visuelle

Vision par ordinateur

Traitement d'images -- Techniques numériques

Mots clés libres

Traitement d'image

Imagerie à plage dynamique élevée

Mappage de tonalités

Perception visuelle

Qualité d'image

Rehaussement des images

Image processing

HDR imaging

Tone mapping

Visual perception

Subjective image quality

Aesthetic image enhancement

Résumé

Le rapport entre l'intensité de luminance la plus lumineuse et la plus sombre dans les images à plage dynamique élevée (High Dynamic Range-HDR) est supérieur à la capacité de rendu du support de sortie. Les opérateurs de mappage de tonalités (Tone mapping operators - TMOs) compressent l'image HDR tout en préservant les indices perceptuels, modifiant ainsi la qualité esthétique subjective. Les techniques dans le domaine de la peinture ainsi que les techniques de correction manuelle de l'exposition en photographie ont inspiré de nombreuses recherches sur les TMOs. Cependant, contrairement au processus de retouche manuel basé sur le contenu sémantique de l'image, les TMOs dans la littérature se sont principalement appuyés sur des règles photographiques ou des principes d'adaptation de la vision humaine pour obtenir la 'meilleure' qualité esthétique, ce qui est un problème mal posé en raison de sa subjectivité. Notre travail reformule les défis du mappage des tonalités en se mettant dans la peau d'un photographe, en suivant les principes photographiques, les statistiques d'images et leur recette de retouche locale pour réaliser les ajustements de tonalités. Dans cette thèse, nous présentons deux TMO sémantiques : un SemanticTMO traditionnel et un GSemTMO basé sur l'apprentissage profond. Nos nouveaux TMO utilisent explicitement des informations sémantiques dans le pipeline de mappage de tonalités. Notre nouveau G-SemTMO est le premier exemple de réseaux convolutifs sur les graphes (Graph Convolutional Networks - GCN) utilisé pour l'amélioration esthétique de l'image. Nous montrons que l'apprentissage basé sur des graphes peut tirer parti de l'agencement spatial de segments sémantiques similaire au masques locaux fabriqués par des experts. Il crée une compréhension de la scène basée sur les statistiques d'image spécifiques à la sémantique et prédit un mappage dynamique et local des tonalités. En comparant nos résultats aux TMO traditionnels et modernes basés sur l'apprentissage profond, nous montrons que G-SemTMO peut imiter les recettes d'un expert et mieux se rapprocher des styles esthétiques de référence lorsque comparé aux méthodes de pointe.

The ratio between the brightest and the darkest luminance intensity in High Dynamic Range (HDR) images is larger than the rendering capability of the output media. Tone mapping operators (TMOs) compress the HDR image while preserving the perceptual cues thereby modifying the subjective aesthetic quality. Age old painting and photography techniques of manual exposure correction has inspired a lot of research for TMOs. However, unlike the manual retouching process based on semantic content of the image, TMOs in literature have mostly relied upon photographic rules or adaptation principles of human vision to aim for the 'best' aesthetic quality which is ill-posed due to its subjectivity. Our work reformulates the challenges of tone mapping by stepping into the shoes of a photographer, following the photographic principles, image statistics and their local retouching recipe to achieve the tonal adjustments. In this thesis, we present two semantic aware TMOs – a traditional SemanticTMO and a deep learning-based GSemTMO. Our novel TMOs explicitly use semantic information in the tone mapping pipeline. Our novel GSemTMO is the first instance of graph convolutional networks (GCN) being used for aesthetic image enhancement. We show that graph-based learning can leverage the spatial arrangement of semantic segments like the local masks made by experts. It creates a scene understanding based on the semantic specific image statistics a predicts a dynamic local tone mapping. Comparing our results to traditional and modern deep learning-based TMOs, we show that G-SemTMO can emulate an expert’s recipe and reach closer to reference aesthetic styles than the state-of-the-art methods.