Réduction de complexité de l’encodage vidéo VVC à l’aide de techniques d’apprentissage automatique

Complexity reduction of VVC video encoding using machine learning techniques

• Auteur / Autrice : Alexandre Tissier
• Direction : Daniel Ménard
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 25/05/2022
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et des Technologies du numéRique / IETR
• Jury : Président / Présidente : François-Xavier Coudoux
• Jury : Examinateurs / Examinatrices : François-Xavier Coudoux, Anissa Mokraoui, Marco Cagnazzo, Wassim Hamidouche, Jarno Vanne

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Compression vidéo

Apprentissage profond

Mots clés libres

Codage vidéo

VVC

Réduction de la complexité

Apprentissage machine

Video encoding

VVC

Reduced complexity

Machine Learning

Résumé

La visualisation de contenu vidéo a été révolutionnée en une décennie avecl’émergence de nouveaux services tels que la vidéo à la demande, le streaming vidéoou les plateformes de partage vidéo. Les nouveaux formats vidéo et l’explosion du traficvidéo IP nécessitent de nouvelles techniques de compression vidéo encore plus efficacesque les techniques existantes. L’organisation JVET ISO/IEC, ITU-T a standardiséen juillet 2020 la norme de codage vidéo VVC ITU-T H.266 comme successeur de HEVC.Les nouveaux outils inclus dans VVC permettent une réduction de près de 40% du débit mais au détriment d’une augmentation significative de la complexité de calcul de l’encodeur, estimée à 859% (x8) par rapport à HEVC.L’objectif de ce travail de recherche est de proposer des techniques de réduction de la complexité de l’encodage VVC tout en minimisant la perte de qualité du codage. La première contribution analyse les possibilités de réduction de complexité du processus d’encodage VVC en fonction des outils de codage. Les contributions suivantes se concentre sur la réduction de la complexité du processus de partitionnement en arbre QT-MTT à l’aide de techniques de ML. Tout d’abord, une solution basée sur un CNN est développée afin d’extraire les probabilités de partitionnement associées aux différents segments présents au sein d’un CTU dans le cas d’une configuration AI. Une première technique de réduction de complexité exploitant ce CNN et utilisant un ensemble de seuils pré-calculés pour les prises de décision de partitionnement a été définie. Une seconde technique utilisant une approche de ML basée sur des arbres de décision (DT) pour la prise de décision de partitionnement est proposée. Finalement, une technique intégrant un CNN et une approche de ML basée DT est proposée dans le cas d’uneconfiguration inter.

The video content visualization has been revolutionized in a decade with the emergence of new services like video on demand, video streaming, or video sharing platforms. The emerging video formats alongside with the explosion of IP video traffic require new video coding techniques that are even more efficient than existing ones. The organization JVET ISO/IEC, ITU-T standardized in July 2020 the video coding standard VVC ITU-T H.266 as a successor to HEVC. The new tools included in VVC provides almost 40% bitrate reduction but at the expense of a significant increase in encoder computational complexity estimated to 859%(x8) compared with HEVC. The research work objective is to propose complexity reduction techniques for VVC encoding while minimizing the coding quality degradation. The first contribution analyzes the possibilities of complexity reduction for the VVC encoding process depending on the encoding tools. The next contributions focus on reducing the complexity of the QT-MTT partitioning process using ML techniques. First, a CNN-based solution is developed to extract the partitioning probabilities associated with the different segments located within a CTU in the case of an AI configuration. A first complexity reduction technique exploiting this CNN and using a set of pre-computed thresholds for partitioning decisions has been defined. A second technique using a DT based ML approach for partitioning decisionmaking is proposed. Finally, a technique integrating a CNN and a DT-based ML approach is proposed in the case of an inter configuration.