Implémentation matérielle efficace du module de transformée pour le nouveau standard video Versatile Video Coding en technologie SoC FPGA

Efficient Hardware implementation of transform module for the Versatile Video Coding standard on Intel SoC FPGA

• Auteur / Autrice : Ahmed Kammoun
• Direction : Jean-François Nezan, Nouri Masmoudi
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 12/12/2019
• Etablissement(s) : Rennes, INSA en cotutelle avec Université de Sfax (Tunisie)
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
• Jury : Président / Présidente : Frédéric Dufaux
• Jury : Examinateurs / Examinatrices : Marco Cagnazzo, Chiheb Rebai, Mohamed Atri, Wassim Hamidouche, Fatma Belghith, Pierrick Philippe
• Jury : Rapporteurs / Rapporteuses : Marco Cagnazzo, Chiheb Rebai

Mots clés

Mots clés contrôlés

Matrices

Compression vidéo

Codage

Mots clés libres

Versatile Video Coding

Transformée MTS

LFNST

DCT-II

Arria10

Implémentation hardware

Versatile Video Coding

MTS transform

LFNST

DCT-II

Arria10

Hardware Implementation

Résumé

La future norme de codage vidéo MPEG / ITU nommée Versatile Video Coding (VVC) est attendue d’ici à la fin de 2020. VVC permettra une meilleure efficacité de codage par rapport à la norme actuelle de codage High Efficiency Video Coding (HEVC). Ce gain de codage est apporté par plusieurs outils de codage. La Multiple Transform Selection (MTS) est l’un des principaux outils de codage introduits dans VVC. Le concept MTS implique trois types de transformée, à savoir la transformée en cosinus discrète (DCT)-II, la transformée en sinus discret (DST)-VII et la DCT-VIII. La première contribution repose sur la proposition de la première implémentation matérielle dans la littérature du module de transformée en 2D, incorporé dans les premiers projets de VVC. L'architecture comprend cinq types de transformation et prend en charge toutes les tailles de transformation de 4 à 32, tenant compte de toutes les combinaisons de taille asymétriques. L'architecture proposée bénéficie des multiplieurs LPM internes et des blocs DSP offerts par la plateforme cible SoC-FPGA Arria 10. Ensuite, en raison de la conception très complexe de MTS, une approche d’approximation est proposée pour réduire la complexité de calcul du DST-VII et du DCT-VIII. L’approximation consiste à appliquer des étapes d’ajustement à une variante de la famille DCT-II, principalement la DCT-II et son inverse. Les étapes d'ajustement sont des matrices diagonales à faible complexité (maximum 5 coefficients par ligne) dérivées d'un algorithme d'optimisation génétique. De plus, une implémentation matérielle efficace du MTS approximé est proposée, valable pour les deux sens direct et inverse. L'architecture proposée est totalement pipelinée et supporte les trois types de transformation impliqués dans la dernière version VVC avec une consommation des ressources hardware très modérée. Enfin, dans la dernière version de la norme VVC, un autre outil complexe de transformée nommé Low Frequency Non Separable Transform (LFNST) est également intégré. Dans ce travail, nous proposons aussi une implémentation matérielle efficace du LFNST utilisant les multiplications à valeur non constante (basé sur les mémoires ROMs) afin de réduire la complexité de calcul en nombre d'opérations et les besoins en ressources matérielles.

The future MPEG/ITU video coding standard named Versatile Video Coding (VVC) is expected by the end of 2020. VVC will enable better coding efficiency than the current High Efficiency Video Coding (HEVC) standard. This coding gain is brought by several coding tools. The Multiple Transform Selection (MTS) is one of the key coding tools that have been introduced in VVC. The MTS concept involves three transform types including Discrete Cosine Transform (DCT)-II, Discrete Sine Transform (DST)-VII and DCT-VIII. The first contribution relies on proposing the first hardware implementation in literature of the 2D Transform Module incorporated in the first VVC drafts. The architecture involves five transform types and supports all transform sizes from 4 to 32 taking into accounts all asymmetric size combinations. The proposed architecture benefits from internal LPM multipliers and DSP blocks offered by the target SoC-FPGA device Arria 10. Then, due to high complex design of MTS, an approximation approach is proposed to reduce the computational cost of the DST-VII and DCT-VIII. The approximation consists in applying adjustment stages to a variant of DCT-II family mainly DCT-II and its inverse. Adjustment stages are sparse block-band matrices derived using a genetic optimization algorithm. In addition, an efficient hardware implementation of the forward and inverse approximate transform module is proposed. The pipelined architecture design supports all three transform types involved in the latest VVC draft using very moderate hardware requirements. Last but not least, in the latest VVC standard, other complex transform tool Low Frequency Non Separable Transform (LFNST) is also incorporated. In this work, we propose an efficient hardware implementation of LFNST through non constant value multiplications to reduce the computational complexity and hardware resource requirements.