Optimisation basée sur l'apprentissage automatique pour le codage à faible débit avec VVC

Machine learning based optimization for VVC low bitrate coding

• Auteur / Autrice : Fatemeh Nasiri
• Direction : Luce Morin, Wassim Hamidouche
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal
• Date : Soutenance le 19/05/2022
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
• Jury : Président / Présidente : Christine Guillemot
• Jury : Examinateurs / Examinatrices : Luce Morin, Wassim Hamidouche, Christine Guillemot, Marco Cagnazzo, Christian Timmerer, Giuseppe Valenzise
• Jury : Rapporteurs / Rapporteuses : Marco Cagnazzo, Christian Timmerer

Mots clés

Mots clés contrôlés

Codage

Apprentissage automatique

Compression vidéo

Vidéocommunications

Mots clés libres

Transmission en faible débit

Versatile Video Coding

Amélioration de qualité

Filtrage en boucle

Bitrate ladder

Low-bitrate transmission

Versatile Video Coding

Quality improvement

Loop filtering

Bitrate ladder

Résumé

Cette thèse porte sur des méthodologies efficaces pour optimiser le codage et la transmission vidéo à bas débit, ou les limitations de bande passante entraînent souvent des vidéos avec des artefacts de compression notables (par exemple, flou, bloc et sonnerie). De tels artefacts peuvent réduire considérablement la qualité perçue du côté de l’utilisateur. En divisant le pipeline de diffusion vidéo en trois étapes principales de prétraitement, d’encodage et de post-traitement dans cette thèse, nous avons essayé de relever les défis du codage vidéo à faible débit à chaque étape. Tout d’abord, nous proposons une méthode d’amélioration de la qualité basée sur CNN en tant que post-traitement pour améliorer la qualité des vidéos fortement déformées avant l’affichage. Pour améliorer encore les performances de cet algorithme, nous tirons parti des informations disponibles dans le flux binaire reçu, telles que la prédiction, le partitionnement, le type de codage de bloc et le paramètre de quantification. De plus, pour réduire le débit binaire tout en améliorant la qualité, nous intégrons la méthode QE proposée comme filtre en boucle après tous les filtres de boucle existants dans VVC. Ensuite, comme la réduction d’échelle de la vidéo avant l’encodage peut être bénéfique à bas débit, nous avons mené une étude pour vérifier le potentiel des méthodes de superrésolution basées sur CNN à bas débit. De plus, pour déterminer la meilleure résolution vidéo avant l’encodage pour les cas d’utilisation spécifiques, nous avons développé une méthode basée sur le ML sensible au contenu pour construire l’échelle de débit binaire proche de l’optimum. Nous introduisons également une approche pour prédire l’échelle de débit d’un préréglage d’encodage spécifique à partir des autres préréglages. En résumé, nous avons proposé plusieurs méthodes et stratégies dans différentes parties des processus d’encodage et de décodage pour améliorer les performances du codage vidéo à faible débit.

This thesis focuses on improving lowbitrate video coding and transmission, where the bandwidth limitations often result in videos with noticeable compression artifacts (e.g. blurriness, blockiness and ringing). Such artifacts can dramatically decrease the perceived quality. By breaking the video delivering pipeline into three main steps of pre-processing, encoding and post-processing in this thesis, we have tried to address the challenges of low bit-rate video coding in each step. First, we propose a CNN-based quality enhancement method as post-processing to enhance the quality of heavily distorted videos before display. To further improve the performance of this algorithm, we take advantage of the information available in the received bitstream. Moreover, to reduce the bitrate while enhancing the quality, we integrate the proposed QE method as in-loop filter after all existing loop filters in VVC. Next, as down-scaling the video before encoding can be beneficial at the low-bit rate, we conducted a study to verify the potential of CNN-based super-resolution methods in low-bitrate. In addition, to determine the best video resolution before the encoding for the specific use cases, we developed a content-aware ML-based method to construct the close to optimal bitrate ladder. We also introduce an approach to predict the bitrate ladder of a specific encoding preset from the other presets. In summary, several methods and strategies in different parts of the video ecosystem have been proposed to improve the overall performance in low-bitrate.