Évaluation de la qualité du contenu 3D stéréoscopique basée sur la perception binoculaire

Quality assessment of stereoscopic 3D content based on binocular perception

• Auteur / Autrice : Yu Fan
• Direction : Christine Fernandez-Maloigne, Faouzi Alaya Cheikh, Mohamed-Chaker Larabi
• Type : Thèse de doctorat
• Discipline(s) : Traitement du Signal et des Images
• Date : Soutenance le 03/05/2019
• Etablissement(s) : Poitiers en cotutelle avec Norwegian University of Science and Technology (Trondheim, Norvège)
• Ecole(s) doctorale(s) : École doctorale Sciences et Ingénierie des Systèmes, Mathématiques, Informatique (Limoges ; 2018-2022)
• Partenaire(s) de recherche : Laboratoire : XLIM - XLIM / XLIM
• Partenaire(s) de recherche : faculte : Université de Poitiers. UFR des sciences fondamentales et appliquées
• Jury : Président / Présidente : Sony George
• Jury : Examinateurs / Examinatrices : Christine Fernandez-Maloigne, Faouzi Alaya Cheikh, Mohamed-Chaker Larabi
• Jury : Rapporteur / Rapporteuse : Frédéric Dufaux, Mylene C. Q. Farias

Mots clés

Mots clés contrôlés

Fusion binoculaire

Rivalité binoculaire

Perception de la profondeur

Vidéo 3D (imagerie tridimensionnelle)

Psychophysique

Mots clés libres

Contenu stéréoscopique

Vision binoculaire

Système visuel humain

Évaluation de la qualité d'image stéréoscopique

Différence juste visible

3D content

Quality of experience

Binocular perception

Human visual system

Stereoscopic image quality assessment

Just noticeable difference

Résumé

La grande avancée des technologies stéréoscopiques/3D conduit à une croissance remarquable des contenus 3D dans diverses applications grâce aux effets immersifs qu’ils offrent. Cependant, ces technologies ont également créé de enjeux concernant l’évaluation de la qualité et la compression, en raison des processus complexes de la vision binocu laire. Visant à évaluer et à optimiser les performances des systèmes d’imagerie 3D quant à leur capacité de stockage et leur qualité d’expérience (QoE), cette thèse porte sur deux parties principales: 1- les seuils de visibilité spatiale du système visuel humain (SVH) et 2- l’évaluation de la qualité des images stéréoscopiques. Il est bien connu que le SVH ne peut détecter les modifications dans une image compressée si ces dernières sont inférieures au seuil JND (Just Noticeable Difference). Par conséquent, une étude approfondie basée sur une analyse objective et subjective a été menée sur les modèles 3D-JND existants. En outre, un nouveau modèle 3D-JND basé sur des expériences psychophysiques visant à mesurer l’effet de la disparité binoculaire et du masquage spatial sur les seuils visuels a été proposé. Dans la deuxième partie, nous avons exploré la mesure de la qualité 3D. Ainsi, nous avons développé un modèle avec référence prenant en compte à la fois la qualité monoculaire et cyclopéenne. Nous avons ensuite proposé une nouvelle métrique de qualité sans référence reposant sur la combinaison de statistiques locales de contraste de la paire stéréo. Les deux modèles reposent sur les propriétés de fusion et de rivalité binoculaire du SVH afin de simuler avec précision le jugement humain de la qualité 3D.

The great advance of stereoscopic/3D technologies leads to a remarkable growth of 3D content in various applications thanks to a realistic and immersive experience. However, these technologies also brought some technical challenges and issues, regarding quality assessment and compression due to the complex processes of the binocular vision. Aiming to evaluate and optimize the performance of 3D imaging systems with respect to their storage capacity and quality of experience (QoE), this thesis focuses on two main parts: 1- spatial visibility thresholds of the human visual system (HVS) and 2- stereoscopic image quality assessment (SIQA). It is well-known that the HVS cannot detect the changes in a compressed image if these changes are lower than the just noticeable different (JND) threshold. Therefore, an extensive study based on objective and subjective analysis has been conducted on existing 3D-JND models. In addition, a new 3D-JND model has been proposed based on psychophysical experiments aiming to measure the effect of binocular disparity and spatial masking on the visual thresholds. In the second part, we explored new approaches for SIQA from two different perspectives. First, we developed a reference-based model accounting for both monocular and cyclopean quality. Then, we proposed a new blind quality metric relying on local contrast statistics combination of the stereopair. Both models considered the binocular fusion and binocular rivalry behaviors of the HVS in order to accurately simulate the human judgment of 3D quality.