ConceptionsmatériellesefficacespourdesnouveauxoutilsdustandardVVCciblantlesplates-formesASIC

Efficient hardware designs of the new Versatile Video Coding (VVC) tools for ASIC platforms

• Auteur / Autrice : Brahim Farhat
• Direction : Daniel Ménard, Olivier Déforges
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 31/05/2022
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et des Technologies du numéRique
• Jury : Président / Présidente : Dominique Ginhac
• Jury : Examinateurs / Examinatrices : Daniel Ménard, Olivier Déforges, Dominique Ginhac, Fernando Pescador, Virginie Fresse, François Berry, Wassim Hamidouche, Adrien Grill
• Jury : Rapporteurs / Rapporteuses : Fernando Pescador, Virginie Fresse

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Circuits intégrés à la demande

Temps réel (informatique)

Compression vidéo

Mots clés libres

Compression Vidéo

VVC

Implémentation temps réel

LFNST

ASIC

MTS

ALF

Optimisation

Video Compression

VVC

Real time implementation

LFNST

ASIC

MTS

ALF

Optimisation

Résumé

La nouvelle norme de codage vidéo MPEG/ITU ap- pelée Versatile Video Coding (VVC) a été finalisée en juillet 2021. VVC permet une efficacité de codage 40 % supérieure à celle de son prédécesseur, la norme HEVC. Ce gain de codage est ap- porté par plusieurs outils de codage. Le MTS et le LFNST sont l’un des principaux outils de codage qui ont été introduits dans le VVC pour la partie transformation. En outre, afin d’améliorer la qualité perceptive des trames codées, le VVC ajoute un nou- vel outil à son processus de filtrage en boucle appelé ALF. Dans cet élément, des implémentations matérielles pour tous les out- ils ci-dessus ciblant les plateformes ASIC sont proposées. Elles comportent toutes les optimisations nécessaires pour réduire leur coût en termes de surface de puce, de mémoire et de consomma- tion d’énergie. Toutes les solutions proposées ont été intégrées dans un encodeur et décodeur VVC professionnel en temps réel. La première contribution est une implémentation matérielle ef- ficace de la transformation MTS. Elle consiste en une architec- ture multistandard qui prend en charge le bloc de transformation des normes MPEG récentes, notamment AVC, HEVC et VVC. Elle est optimisée et supprime les complexités inutiles que l’on trouve dans d’autres architectures proposées en utilisant des mul- tiplicateurs réguliers au lieu de multiplicateurs constants. Ensuite, pour le même contexte, le LFNST est ajouté au module de trans- formation. Il exploite toutes les optimisations des transformées primaires et secondaires, y compris la décomposition papillon, la remise à zéro des coefficients et la relation linéaire inhérente en- tre les types de transformées. La deuxième contribution consiste en une implémentation matérielle efficace de l’outil ALF. Pour le décodeur, la solution proposée établit un nouvel ordre de balayage entre les composantes Luma et Chroma qui réduit considérable- ment la mémoire. En outre, ce module a été étudié pour le contexte du codeur. Dans ce contexte, l’ALF comporte deux phases : le filtrage et le processus de décision. Afin de réduire la consomma- tion de ressources, l’encodeur active l’ALF uniquement pour les échantillons Luma et pour les CTUs de taille 64. Cette dernière so- lution s’est avérée efficace et a été intégrée dans l’encodeur VVC en temps réel.

The new MPEG/ITU video coding standard named Ver- satile Video Coding (VVC) was Finalized in July 2021. VVC enable 40% better coding efficiency than its predecessor HEVC standard. This coding gain is brought by several coding tools. The MTS and LFNST are one of the key coding tools that have been introduced in VVC for the transform part. In addition, in order to enhance the perceptually quality of the coded frames, VVC adds a new tool to its in-loop filter process called the ALF. In this ele- ment, a hardware implementations for all the above tools targeting ASIC platforms are proposed. They feature all optimisations in order to reduces their cost in term of chip surface, memory and power consumption. All the proposed solutions were integrated in a real-time professional VVC encoder and decoder. The first contribution is an efficient hardware implementation of the MTS transform. It consists in a multi-standard architecture that supports the transform block of recent MPEG standards including AVC, HEVC and VVC. The architecture is optimized and removes un- necessary complexities found in other proposed architectures by using regular multipliers instead of constant multipliers. Then, for the same context, the LFNST is added to the transform module. It leverages all primary and secondary transforms optimisations including butterfly decomposition, coefficients zeroing and the in- herent linear relationship between the transform types. The sec- ond contribution consist in an efficient hardware implementation of the ALF tool. For the decoder, the proposed solution establishes a novel scanning order between Luma and Chroma components that reduces significantly the memory. In addition, this module has been studied for the encoder context. In this context, the ALF has two phases: the filtering and the decision process. In order to reduce resource consumption, the encoder activates the ALF only for Luma samples and for CTUs of size 64. This latter proved to be efficient and got integrated in the real-time VVC encoder.