Vers le déploiement du codage vidéo neuronal appris de bout en bout

Towards practical end-to-end learned video coding

• Auteur / Autrice : Marwa Tarchouli
• Direction : Olivier Déforges, Thomas Guionnet
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 04/07/2024
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Entreprise : ATEME
• Partenaire(s) de recherche : Laboratoire : @Institut d'Électronique et des Technologies du numéRique
• Jury : Président / Présidente : Frédéric Dufaux
• Jury : Examinateurs / Examinatrices : Thomas Guionnet, Anissa Mokraoui, Touradj Ebrahimi, Meriem Bayou-Outtas
• Jury : Rapporteurs / Rapporteuses : Frédéric Dufaux, Anissa Mokraoui, Touradj Ebrahimi

Mots clés

Mots clés contrôlés

Traitement du signal

Réseaux neuronaux (informatique)

Compression vidéo

Apprentissage profond

Mots clés libres

Conpression vidéo

Apprentissage profond

Video Compression

Deep Learning

Résumé

L’évolution exponentielle de la consommation de vidéo a engendré une demande croissante pour une qualité de vidéo supérieure avec des résolutions plus élevées. Cette demande incite à perfectionner les algorithmes de codage vidéo, introduisant ainsi, la norme VVC en 2020, qui offre une amélioration des performances débit-distorsion de 50% par rapport à son prédécesseur HEVC. En outre, les récentes avancées des algorithmes d’apprentissage profond ont démontré des performances remarquables dans divers domaines notamment dans le traitement d’image, ce qui a suscité l’intérêt des communautés de la compression vidéo et l’intelligence artificielle. Ces facteurs ont contribué à l’émergence de la compression neuronale. Cette thèse explore les systèmes de compression neuronale des vidéos, en se focalisant sur deux méthodologies principales : les codecs basés sur les VAEs et les codecs basés sur les INRs. Alors que les codecs basés sur les VAEs ont surpassé les performances du dernier codec vidéo VVC, leur complexité accrue présente des défis pour un déploiement pratique dans l’industrie. En revanche, les codecs basés sur les INR sont conçus pour maintenir une faible complexité et intègrent des réseaux adaptatifs au contenu. Néanmoins, ils n’ont pas encore atteint un niveau d’efficacité de codage suffisant pour rivaliser avec les codecs vidéo traditionnels. Dans cette thèse, une première contribution est proposée pour les codecs basés sur les VAE afin d’atténuer le problème de complexité de calcul accrue. De plus, une deuxième contribution est introduite pour améliorer l’efficacité de codage des codecs basés sur les INRs.

In recent years, there has been an exponential surge in video consumption, increasing the demand for superior video quality and high resolutions. This has motivated efforts to enhance video coding algorithms. Hence, the latest traditional codec VVC was developed in 2020, boosting the rate-distortion performance by 50 % compared to its predecessor HEVC . On the other hand, the popularity of Deep learning algorithms is growing rapidly, earning acclaim for their outstanding performance in numerous fields including image processing. This recognition captures the interest of both the video compression and the artificial intelligence communities. These factors contribute to the emergence of learned compression. This thesis explores end-to-end learned video compression systems, focusing on two main methodologies: VAE-based codecs and INR-based codecs. While VAE-based codecs surpassed the performance of the latest codec VVC, their heightened complexity presents challenges for practical deployment in the industry. On the contrary, INR-based codecs, are designed to maintain low complexity and incorporate content-adaptive networks. Nonetheless, they did not reach yet a sufficient coding efficiency level to rival handcrafted video codecs. In this thesis, a first contribution is proposed for VAE-based codecs to mitigate the increased computational complexity issue. Furthermore, a second one is introduced to enhance the coding efficiency of INR-based codecs.