Compression d’images et de vidéos Light Field

Light Field Image and Video Compression

• Auteur / Autrice : Nader Bakir
• Direction : Olivier Déforges, Mohamad Khalil
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 10/06/2020
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
• Partenaire(s) de recherche : : Université Bretagne Loire (2016-2019)
• Jury : Président / Présidente : Bachar El Hassan
• Jury : Examinateurs / Examinatrices : Olivier Déforges, Mohamad Khalil, Bachar El Hassan, Frédéric Dufaux, Marco Cagnazzo, Khouloud Samrouth, Wassim Hamidouche
• Jury : Rapporteurs / Rapporteuses : Bachar El Hassan, Frédéric Dufaux

Mots clés

Mots clés contrôlés

Compression vidéo

Apprentissage profond

Mots clés libres

Champs Lumineux

Apprentissage Profond

Futur Codage Vidéo

Evaluation Subjective

Light Field

Deep Learning

Future Video Coding

Subjective Evaluation

Résumé

Les applications de vision par ordinateur telles que le refocusing, la segmentation et la classification deviennent l'un des services les plus avancés dans le domaine de traitement d'image mais de telles applications nécessitent des informations sémantiques riches de la scène. La technologie 3D est largement utilisée dans les domaines de divertissement, d'imagerie médicale, de l'éducation. Il existe différentes manières de représenter l'information 3D. Une technologie récente dont l’importance est grandissante est proposée par les images Light Field (LF). L'image LF est une image non conventionnelle contenant des informations denses telles que l'intensité des rayons lumineux qui interagissent avec la scène. Cependant, un tel système d'imagerie présente de nombreux inconvénients, notamment une grande quantité de données produites. Des techniques de compression adaptées sont ainsi nécessaires.L’objectif de cette thèse est donc de développer des méthodes efficaces pour la compression d’images et de vidéos Light Field. Le succès récent de l'apprentissage profond dans divers domaines notamment dans les domaines du traitement des images et du son, a été établi comme un facteur clé dans nos travaux de recherches.La première partie de cette thèse propose un schéma de codage du champ lumineux basé sur CNN qui inclut RDO suivi d'un post-traitement. Le concept principal est d'exploiter la corrélation entre les différentes vues LF et d'éviter le codage de toutes les vues. Ainsi, un ensemble de vues LF est codé par un codeur 2D standard, puis les autres sont soit estimées par une approximation linéaire soit générées par CNN.Dans un second temps, une comparaison subjective entre les solutions de codage proposées et les standards ont montré des gains très significatifs.Enfin, la dernière partie de cette thèse a consisté à intégrer un Dual Discriminative Generative Adverserial Network (D2GAN) dans l'encodeur standard hiérarchique Versatile Video Coding (VVC). L'idée globale est de coder les vues du niveau hiérarchique supérieur et les générer avec D2GAN au niveau du décodeur.

Computer vision applications such as refocusing, segmentation and classification are becoming one of the most advanced services in the field of image processing, but such applications require rich semantic information of the scene. 3D technology is widely used in the fields of entertainment, medical imaging and education. There are different ways of representing 3D information. A recent technology of growing importance is Light Field (LF) images. The LF image is an unconventional image containing dense information such as the intensity of the light rays interacting with the scene. However, such an imaging system has many drawbacks, including the large amount of data produced. This requires appropriate compression techniques.The goal of this thesis is to develop new methods for efficient LF image and video compression. The recent success in deep learning in various fields, particularly in the areas of image and speech processing. Thus, the overall established as a key factor in this research work.The first part of this thesis proposes a CNN-based light field coding scheme that includes RDO followed by post-processing. The main concept is to exploit the correlation between the different LF views and avoid coding of all views. So, one set of LF views is coded by a standard 2D encoder while others are estimated by linear approximation or generated by CNN.The second part shows very significant gains while drawing a subjective comparison between the proposed coding solutions and the standards.Finally, the last part of this thesis consists in integrating a Dual Discriminative Generative Adverserial Network (D2GAN) into the standard hierarchical Versatile Video Coding (VVC) encoder. The overall idea is to encode the views of the upper hierarchical level and generate them with D2GAN at the decoder side.