Apprentissage, sélection et codage de nouvelles transformées de blocs dans et pour la boucle d’optimisation de codeurs vidéo

Learning, selection and coding of new block transforms in and for the optimization loop of video coders

• Auteur / Autrice : Saurabh Puri
• Direction : Patrick Le Callet, Sébastien Lasserre
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et des images
• Date : Soutenance le 09/11/2017
• Etablissement(s) : Nantes
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : COMUE : Université Bretagne Loire (2016-2019)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Sciences du Numérique de Nantes
• Jury : Président / Présidente : Christine Guillemot
• Jury : Examinateurs / Examinatrices : André Kaup
• Jury : Rapporteur / Rapporteuse : Olivier Déforges, Marco Cagnazzo

Mots clés

Mots clés contrôlés

Compression vidéo

Traitement du signal

Mots clés libres

Transformations de blocs

Optimisation transformée-débit-distortion

HEVC

Résumé

Les transformées sont un élément clé dans les systèmes de codage vidéo par blocs. Cette thèse approfondit les schémas d’apprentissage à multiples transformées. Une première contribution de ce travail est consacrée à l’évaluation de schémas d’apprentissage de transformées de deux types en ligne et hors ligne. Les deux approches sont comparées en détail et leur pertinence respective révélées. Nous proposons ensuite plusieurs techniques afin d’améliorer la stabilité du système d’apprentissage et réduire le coût de la signalisation. Une seconde contribution concerne les schémas d’apprentissage multi-transformées hors ligne déjà connus qui sont étendus avec pour objectifs de 1) fournir des transformées plus génériques et moins biaisées, 2) obtenir des gains de compression plus élevés, 3) réduire la complexité d’encodage et de décodage. On propose un schéma dit IMDTC (Improved Mode Dependent Transform Competition) qui offre un gain de codage très significatif, plus de 5% par rapport à HEVC standard sous la configuration All Intra (AI), avec une augmentation de complexité raisonnable. Enfin, l’adaptabilité au contenu de l’apprentissage hors ligne est étendue en explorant une nouvelle approche d’apprentissage des transformées basée sur des jeux de transformées adaptées à des contenus. Plusieurs ensembles contenant de multiples transformées sont appris sur différents contenus et regroupés en jeu. Lors du codage d’une région donnée d’une image, un ensemble de transformées est sélectionné localement à partir du jeu. Les résultats numériques montrent le potentiel élevé de cette approche par rapport aux approches classiques en ligne et hors ligne.

Transforms are a key element in block-based video coding systems which, in conjugation with quantization, is important for the overall compression efficiency of the system. This thesis explores multipletransform- based learning schemes. A first contribution of this work is dedicated to the evaluation of transform learning schemes with two flavors 1) online learning, and 2) offline learning. The two approaches are compared against each other and their respective appropriability is studied in detail. Some novel techniques are proposed in this work to 1) improve the stability of the learning scheme and 2) to reduce the signaling cost. In a second contribution of this thesis, the offline multiple-transform learning schemes already known in the literature are further extended with the aims to altogether 1) provide more generic transforms that are less biased towards specific classes of contents, 2) achieve higher compression gains, 3) reduce encoding and decoding computational complexity. An improved Mode Dependent Transform Competition (IMDTC) scheme is proposed which provides a considerable gain of over 5% compared to standard HEVC under All Intra (AI) configuration at a complexity just 2.9 times the standard HEVC. Finally, the content adaptability aspect of the offline learning is explored through a novel content-adapted pool-based transform learning approach where several multiple-transform sets are learned on different contents and pooled together. During the coding of a given region of an image, one transform set is selected locally from the pool. Numerical results show the high potential of this approach against the conservative online and offline approaches.