Évaluation objective et subjective de la qualité des images à 360 degrés

Objektiv og subjektiv kvalitetsvurdering av 360-graders bilder

Objective and subjective quality assessment of 360-degree images

• Auteur / Autrice : Abderrezzaq Sendjasni
• Direction : Majdi Khoudeir, Mohamed-Chaker Larabi
• Type : Thèse de doctorat
• Discipline(s) : Traitemement du signal et des images
• Date : Soutenance le 05/01/2023
• Etablissement(s) : Poitiers en cotutelle avec Université norvégienne des sciences et de la technologie (Trondheim, Norvège)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique, matériaux, mécanique, énergétique (Poitiers ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : XLIM - XLIM / XLIM
• Jury : Président / Présidente : Steven Le Moan
• Jury : Examinateurs / Examinatrices : Laura Toni, Faouzi Alaya Cheikh
• Jury : Rapporteurs / Rapporteuses : Aljosa Smolic, Sophie Triantaphillidou

Mots clés

Mots clés contrôlés

Apprentissage profond

Perception des images

Traitement d'images

Mots clés libres

Images 360 degrés

Perception visuelle

Réseaux de neurones convolutifs

Qualité subjective et objective

Évaluation de la qualité d'image

360-degree images

Image quality assessment

Convolutional Neural Networks

Visual perception

Objective and subjective quality

Résumé

Les images à 360 degrés, aussi appelées images omnidirectionnelles, sont au cœur des contenus immersifs. Avec l’augmentation de leur utilisation notamment grâce à l’expérience interactive et immersive qu’ils offrent, il est primordial de garantir une bonne qualité d’expérience (QoE). Cette dernière est considérablement impactée par la qualité du contenu lui-même. En l’occurrence, les images à 360 degrés, comme tout type de signal visuel, passent par une séquence de processus comprenant l’encodage, la transmission, le décodage et le rendu. Chacun de ces processus est susceptible d’introduire des distorsions dans le contenu. Pour améliorer la qualité d’expérience, toutes ces dégradations potentielles doivent être soigneusement prises en compte et réduites à un niveau imperceptible. Pour atteindre cet objectif, l’évaluation de la qualité de l’image est l’une des stratégies devant être utilisée. Cette thèse aborde l’évaluation de la qualité des images à 360 degrés des points de vue objectif et subjectif. Ainsi, en s’intéressant à l’effet des visiocasques sur la qualité perçue des images 360 degrés, une étude psycho-visuelle est conçue et réalisée en utilisant quatre dispositifs différents. À cette fin, une base de données a été créé et un panel d’observateurs a été impliqué. L’impact des visiocasques sur la qualité a été identifié et mis en évidence comme un facteur important à prendre en compte lors de la réalisation d’expériences subjectives pour des images à 360 degrés. D’un point de vue objectif, nous avons d’abord procédé à une étude comparative extensive de plusieurs modèles de réseaux de neurones convolutifs (CNN) sous diverses configurations. Ensuite, nous avons amélioré la chaîne de traitement de l’évaluation de la qualité basée sur les CNN à différentes échelles, de l’échantillonnage et de la représentation des entrées à l’agrégation des scores de qualité. En se basant sur les résultats de ces études, et de l’analyse comparative, deux modèles de qualité basés sur les CNN sont proposés pour prédire avec précision la qualité des images à 360 degrés. Les observations et les conclusions obtenues à partir des différentes contributions de cette thèse apporteront un éclairage sur l’évaluation de la qualité des images à 360 degrés.

360-graders bilder, også kjent som rundstrålende bilder, er i sentrum av oppslukende medier. Med økningen i forventninger til sistnevnte, hovedsakelig takket være den aktiverte interaktive og oppslukende opplevelse, er det avgjørende å gi god kvaliteten på opplevelsen (QoE).Denne QoE er betydelig påvirket av kvaliteten på innholdet. Som alle typer visuelle signaler går 360-graders bilder gjennom en sekvens av prosesser, inkludert koding, overføring, dekoding og gjengivelse. Hver av disse prosessene har potensial til å introdusere forvrengninger til innholdet.For å forbedre QoE er vurdering av bildekvalitet (IQA) en av strategiene å følge. Denne oppgaven tar for seg kvalitetsevaluering av 360-graders bilder fra objektive og subjektive perspektiver. Ved å fokusere på påvirkningen av Head Mounted Displays (HMD-er) på den oppfattede kvaliteten til 360-graders bilder, er en psyko-visuell studie designet og utført ved hjelp av fire forskjellige enheter. For dette formålet opprettes et 360-graders bildedatasett og et panel av observatører er involvert. Virkningen av HMD-er på valitetsvurderingene identifiseres og fremheves som en viktig faktor når du utfører subjektive eksperimenter for 360-graders bilder.Fra det objektive perspektivet benchmarket vi først flere konvolusjonelle nevrale nettverk (CNN) under forskjellige konfigurasjoner. Deretter forbedres prosesseringskjeden til CNN-baserte 360-IQA i forskjellige skalaer, fra input-sampling og representasjon til aggregering av kvalitetspoeng. Basert på observasjonene av de ovenfornevnte studiene så vel som benchmark, foreslås to 360-IQA-modeller basert på CNN-er for å nøyaktig forutsi kvaliteten på 360-graders bilder.De innhentede observasjonene og konklusjonene fra de ulike bidragene skal gi innsikt for å vurdere kvaliteten på 360-graders bilder.

360-degree images, a.k.a. omnidirectional images, are in the center of immersive media. With the increase in demands of the latter, mainly thanks to the offered interactive and immersive experience, it is paramount to provide good quality of experience (QoE). This QoE is significantly impacted by the quality of the content. Like any type of visual signal, 360-degree images go through a sequence of processes including encoding, transmission, decoding, and rendering. Each of these processes has the potential to introduce distortions to the content. To improve the QoE, image quality assessment (IQA) is one of the strategies to be followed. This thesis addresses the quality evaluation of 360-degree images from the objective and subjective perspectives. By focusing on the influence of Head Mounted Displays (HMDs) on the perceived quality of 360-degree images, a psycho-visual study is designed and carried out using four different devices. For this purpose, a 360-degree image datasets is created and a panel of observers is involved. The impact of HMDs on the quality ratings is identified and highlighted as an important factor to consider when con- ducting subjective experiments for 360-degree images. From the objective perspective, we first comprehensively benchmarked several convolutional neural network (CNN) models under various configurations. Then, the processing chain of CNN-based 360-IQA is improved at different scales, from input sampling and representation to aggregating quality scores. Based on the observations of the above studies as well as the benchmark, two 360-IQA models based on CNNs are proposed to accurately predict the quality of 360-degree images. The obtained observations and conclusions from the various contributions shall bring insights for assessing the quality of 360-degree images.