Mesure et comparaison du déploiement de l’attention visuelle : application à l’évaluation de la qualité d’expérience dans un contexte de contenus hyper-réalistiques

Measuring and comparing visual attention deployment : application to Quality of Experience assessment in the context of hyper-realistic content

• Auteur / Autrice : Waqas Ellahi
• Direction : Patrick Le Callet, Toinon Vigier
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'information
• Date : Soutenance le 16/05/2022
• Etablissement(s) : Nantes Université
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Sciences du Numérique de Nantes
• Jury : Président / Présidente : Frédéric Dufaux
• Jury : Examinateurs / Examinatrices : Aladine Chetouani
• Jury : Rapporteurs / Rapporteuses : Rémi Cozot, Lucile Sassatelli

Mots clés

Mots clés contrôlés

Conception centrée sur l'utilisateur

Oeil -- Mouvements

Attention

Mots clés libres

Mappage de tons

Résumé

Les nouveaux contenus hyperréalistiques nécessitent le développement de nouveaux protocoles et modèles pour quantifier l’expérience utilisateur. L’étude du déploiement de l’attention visuelle est considérée comme un moyen intéressant pour comprendre et améliorer la qualité d’expérience (QoE). Dans ce contexte, des méthodes basées saillance, ne considérant que l’information spatiale, ont principalement été utilisées. Dans cette thèse, nous nous proposons donc d’étudier le déploiement de l’attention visuelle, en considérant la dimension dynamique des comportements oculaires, et ses applications possibles en QoE. Dans un premier temps, nous présentons un nouveau cadre méthodologique basé sur des modèles de Markov cachés permettant la classification et la mesure de similarité des chemins oculaires pour différentes dimensions de la QoE (mémorabilité, fidélité visuelle). Au-delà de la comparaison des comportements attentionnels, cette thèse s’intéresse également à la mesure expérimentale du déploiement de l’attention visuelle, en particulier dans un contexte d’études en crowdsourcing sans oculomètre. Nous avons ainsi adapté et testé la métaphore ''Bubble- View'' pour l’évaluation de l’influence des opérateurs de mappage de tons sur le déploiement de l’attention visuelle. Finalement, les outils présentés dans cette thèse pour la mesure, la modélisation et la comparison du déploiement de l’attention visuelle ont été appliqués à la prédiction de la préférence d’images mappées à partir d’une métrique basée sur un algorithme d’apprentissage automatique.

The emerging hyper-realistic contents require the development of new experimental protocols and models for quantifying and predicting the user experience. Visual attention deployment is considered as a good proxy to understand and enhance the quality of experience (QoE). In this context, mostly saliencybased methods have been used considering only spatial information. Therefore, this thesis proposes to study visual attention deployment considering the dynamic dimension of gaze behaviors and its application for QoE. First, we develop a new framework based on Hidden Markov model for the classification and the similarity evaluation of scanpaths and assess it for different QoE dimensions (memorability, visual fidelity). Beyond the comparison of visual behaviors, we also address the measurements of visual attention deployment in in-lab and crowdsourcing experiments, testing the possibility to avoid eye-tracking devices. We adapt and test the ''BubbleView'' metaphor to assess the impact of tone-mapping operators on visual attention deployment. Finally, based on the different tools for measuring, modeling, and comparing visual attention deployment, we develop a new machine learning metric to predict the preference between tone-mapped images.