Méthodes de codage et de post-traitement par apprentissage pour la reconstruction de signaux vidéo 8K

Learning based coding and post-processing methods for 8K video reconstruction

• Auteur / Autrice : Charles Bonnineau
• Direction : Olivier Déforges, Jean-François Travers
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal
• Date : Soutenance le 30/06/2022
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
• Jury : Président / Présidente : Aline Roumy
• Jury : Examinateurs / Examinatrices : Olivier Déforges, Jean-François Travers, Aline Roumy, Anissa Mokraoui, Frédéric Dufaux, Marco Cagnazzo, Thibaud Biatek, Wassim Hamidouche
• Jury : Rapporteurs / Rapporteuses : Anissa Mokraoui, Frédéric Dufaux

Mots clés

Mots clés contrôlés

Ultra haute définition

Apprentissage profond

Traitement d'images -- Techniques numériques

Compression vidéo

Mots clés libres

Compression Vidéo

8K

Super-résolution

Auto-encodeurs

Apprentissage profond

Video Compression

8K

Super-resolution

Auto-encoders

Deep learning

Résumé

La résolution d’image 8K a récemment connu un fort engouement dans la communauté de la vidéo. Du point de vue de la télévision numérique terrestre (TNT), l’introduction de ce nouveau format multimédia n’est envisageable qu’en assurant la compatibilité avec le parc d’équipement existant. Cependant, dû aux fortes contraintes de débit imposées par ce format, une diffusion 8K rétrocompatible sur la TNT n’est pas concevable avec les méthodes de compression actuelles. Cette thèse a pour objectif de proposer des méthodes innovantes permettant la reconstruction du signal 8K du côté des futurs récepteurs. Les dernières avancées proposées dans le domaine des technologies par apprentissage ont démontré des performances prometteuses pour la compression et le posttraitement (e.g., super-résolution) de données vidéos. Dans un premier temps, une étude évaluant les performances de différentes méthodes de compression et de super-resolution appliquées à des contenus 8K a permis de définir deux axes de recherche. Dans un premier axe, deux modèles de super-résolution multitâche dédiés au suréchantillonnage de vidéos compressées ont été développés. Le deuxième axe de la thèse a été dirigé vers le développement d’un algorithme de compression par apprentissage guidant le suréchantillonnage avec un flux de métadonnées. Les résultats ont montré que l’approche proposée offre de meilleures performances que l’état de l’art pour le cas d’usage défini.

8K video resolution has attracted a lot of interest from the industry as a media format for immersive video applications enhancing the end users’ quality of experience. However, delivering such a format on DTT, where backward compatibility is essential, is impossible due to the high bandwidth requirements of this format. This thesis aims to propose innovative compression and post-processing methods to perform the reconstruction of this format on the receiver side. The recent advances in AI-based technologies have demonstrated outstanding performances for the compression or post-processing (e.g., super-resolution) of video data. First, a study has been performed to assess the performance of compression methods and upcsaling algorithms on 8K video. Then, two multitask superresolution models dedicated to upscaling compressed videos have been developed. Finally, a learned compression system has been designed to guide a super-resolution model with metadata containing the high frequencies lost during downscaling. The results show that the proposed solution offers better performance than the state-of-the-art regarding the usecase of this thesis.