Évaluation de la qualité perceptuelle de contenus multimédias immersifs : HDR, champs lumineux et vidéos volumétriques

Perceptual quality evaluation of immersive multimedia content : HDR, Light Field and Volumetric Video

• Auteur / Autrice : Ali Ak
• Direction : Patrick Le Callet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 24/01/2022
• Etablissement(s) : Nantes Université
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Sciences du Numérique de Nantes
• Jury : Président / Présidente : Frédéric Dufaux
• Jury : Examinateurs / Examinatrices : Søren Forchammer, Federica Battisti, Maria Martini
• Jury : Rapporteurs / Rapporteuses : Aladine Chetouani

Mots clés

Mots clés contrôlés

Images, Transmission des

Réalité virtuelle

Mots clés libres

Mappage ton local

Vidéo volumétrique

Résumé

Des formats multimédias immersifs ont émergé comme un puissant canevas dans de nombreuses disciplines pour offrir une expérience utilisateur hyperréaliste. Ils peuvent prendre de nombreuses formes, telles que des images HDR, des champs lumineux, des nuages de points et des vidéos volumétriques. L’objectif de cette thèse est de proposer de nouvelles méthodologies pour l’évaluation de la qualité de tels contenus. La première partie de la thèse porte sur l’évaluation subjective de la qualité d’image. Plus précisément, nous proposons une stratégie de sélection de contenu et d’observateurs, ainsi qu’une analyse approfondie de la fiabilité des plateformes de crowdsourcing pour collecter des données subjectives à grande échelle. Nos résultats montrent une amélioration de la fiabilité des annotations subjectives collectées et répondent aux exigences liées en crowdsourcing à la reproduction d’expériences menés en laboratoire. La deuxième partie contribue à l’évaluation objective de la qualité avec une métrique de qualité d’image basée sur l’apprentissage automatique utilisant les informations de seuil de discrimination, et une métrique de qualité d’image pour les champs lumineux sans référence basée sur des représentations d’images planes épipolaires. Enfin, nous étudions l’impact des méthodologies d’agrégation temporel sur les performances des métriques de qualité objective pour les vidéos volumétriques. Dans l’ensemble, nous démontrons comment nos résultats peuvent être utilisés pour améliorer l’optimisation des outils de traitement pour les contenus multimédias immersifs.

Immersive multimedia formats emerged as a powerful canvas in numerous disciplines for delivering hyper-realistic user experience. They can take many forms, such as HDR images, Light Fields, Point Clouds, and Volumetric Videos. The goal of this thesis is to propose novel methodologies for the quality assessment of such multimedia content. The first part of the thesis focuses on subjective image quality assessment. More specifically, we propose a content selection strategy, observer screening tools, and an extensive analysis on the reliability of crowdsourcing platforms to produce a large-scale dataset. Our findings improve the reliability of the collected subjective annotations and address issues to transfer laboratory experiments into crowdsourcing. The second part contributes to the objective quality evaluation with a learning-based image quality metric utilizing the just noticeable difference information and a no-reference light field image quality metric based on epipolar plane image representations. Finally, we investigate the impact of temporal pooling methodologies in objective quality metric performances for volumetric videos. Overall, we demonstrate how our findings can be used to improve the optimization of processing tools for immersive multimedia content.