Apprentissage pour l'encodage vidéo nouvelle génération

Learning for new generation video coders : complexity reduction of inter coding for VVC codec

• Auteur / Autrice : Yiqun Liu
• Direction : Christine Guillemot, Thomas Guionnet
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, vision
• Date : Soutenance le 11/12/2023
• Etablissement(s) : Université de Rennes (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement du Signal et de l'Image (1969-.... ; Rennes)
• Jury : Président / Présidente : Daniel Ménard
• Jury : Examinateurs / Examinatrices : Christine Guillemot, Thomas Guionnet, Enzo Tartaglione
• Jury : Rapporteur / Rapporteuse : Marco Cagnazzo, Mounir Kaaniche

Mots clés

Mots clés contrôlés

Compression vidéo

Codage

Mots clés libres

VVC

Inter coding

Complexity reduction

CNN

Partitioning

VVC

Codage inter

Réduction de la complexité

CNN

Partitionnement

Résumé

L’encodage vidéo avec le dernier codec Versatile Video Coding (VVC) requiert d’importantes ressources de calcul. Malgré son impact sur le temps d’encodage global, peu d’études portent sur l’accélération de l’encodage inter. Cette thèse se concentre ainsi sur ce sujet, en proposant des approches de partitionnement rapide. Notre première contribution consiste à utiliser un CNN léger pour réduire l’espace de recherche de partitionnement. En estimant la carte de profondeur des décisions de partitionnement QT, ce CNN nous permet d’élaguer l’espace de recherche de l’arbre MT initial. Les expériences montrent que ce travail peut réduire d’un tiers la complexité, pour une perte légère en efficacité de codage. Dans la deuxième partie, nous améliorons la première contribution en proposant une nouvelle structure CNN associé à un algorithme d’accélération. La carte de profondeur QT et les décisions MT sont prédites simultanément, réduisant davantage l’espace de recherche. Le compromis efficacité et accélération d’encodage obtenu surpasse l’état de l’art. Dans la dernière partie, nous proposons une méthode de partitionnement rapide multi-débit pour les scénarios de streaming. Les données collectées à partir d’encodages à bas débits sont exploités pour accélérer les encodages à débits supérieurs. 40% de la complexité est réduite en appliquant notre approche à l’encodeur VVenc, avec une perte raisonnable.

Video encoding with the latest video codec Versatile Video Coding (VVC) requires significant computational resources. Despite its impact on the overall encoding time, few studies focus on accelerating inter-frame encoding. This thesis, therefore, targets this topic by proposing fast partitioning approaches. Our first contribution involves utilizing a lightweight CNN to reduce the search space of partitioning. By predicting the QT depth map, this CNN allows us to prune the search space of the MT partitions. Experiments show that this work can reduce complexity by a third, with slight coding loss. In the second part, we intend to improve the first contribution by proposing a novel CNN structure associated with an acceleration algorithm. The QT depth map and the MT decisions are predicted simultaneously, further reducing the search space. The trade-off between efficiency and encoding acceleration of our method outperforms the stat of the art. In the final part, we propose a multi-rate fast partitioning process for streaming scenarios. Partition data collected from low-bitrate encodings are leveraged to accelerate high-bitrate encodings. 40% reduction in complexity is achieved by applying our approach to the VVenc encoder, with a reasonable loss.