Codage par description multiple pour la transmission et le stockage robuste d'image et vidéo

Multiple description coding for robust image and video delivery

• Auteur / Autrice : Trung Hieu Le
• Direction : Marc Antonini
• Type : Thèse de doctorat
• Discipline(s) : Automatique traitement du signal et des images
• Date : Soutenance le 03/07/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire Informatique, signaux et systèmes (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Jean-Luc Dugelay
• Jury : Examinateurs / Examinatrices : Marc Antonini, Jean-Luc Dugelay, Luce Morin, Giuseppe Valenzise, Joël Jung, Manuela Pereira
• Jury : Rapporteur / Rapporteuse : Luce Morin, Giuseppe Valenzise

Mots clés

Mots clés contrôlés

Codage

Vidéocommunications

Compression d'images

Mots clés libres

Codage par multiple description

Compression image et vidéo

Canal bruité

Representation neuronale implicite

HEVC

Codage source canal conjoint

Multiple description coding

Image and video compression

Noisy channel

Implicit neural representation

HEVC

Joint source channel coding

Résumé

La transmission vidéo en temps réel via les réseaux sans fil est souvent affectée par des bruits. Dans ce contexte, la retransmission des données manquantes est impossible. Pour minimiser l'impact des pertes, plusieurs techniques de correction d'erreur au niveau du canal ont été développées, ajoutant de la redondance au niveau de la trame binaire pour corriger les paquets corrompus. Cependant, ces techniques sont limitées par un certain taux d'erreur et peuvent être inefficaces en raison de la nature imprévisible des canaux sans fil. Une approche alternative pour minimiser la distorsion due à ces erreurs implique l'utilisation de plusieurs canaux sans fil indépendants pour transmettre le flux vidéo. Cependant, la simple duplication d'informations sur les deux canaux entraîne un gaspillage de bande passante. Le codage à descriptions multiples (MDC), introduit en 1979 par Gersho, Witsenhausen, Wolf, Wyner, Ziv et Orarow, qui est une forme de codage source canal conjoint (JSCC), est une solution prometteuse à ce problème. Le MDC implique la création de multiples représentations pour une source que l'on appelle par descriptions. Si toutes les descriptions sont correctement reçues, elles sont ensuite assemblées pour reconstruire la source avec la plus haute-fidélité possible. Sinon, chaque description permet de reconstruire la source avec une qualité acceptable. Cette thèse présente deux contributions principales au MDC. Tout d'abord, nous proposons un MDC multicouche dans le domaine spatial. Les études initiales démontrent sa robustesse par rapport au codage à description unique HEVC (HEVC SDC), montrant des améliorations de PSNR entre 1,4 dB et 8,1 dB. Nous introduisons ensuite un décodeur MDC atteignant jusqu'à 92% d'efficacité par rapport aux méthodes de référence. Enfin, nous présentons l'algorithme d'allocation des bits à descriptions multiples (MBDA), optimisant la distribution d'informations principales et redondantes sous des contraintes de débit cible et le niveau de redondance souhaité. Cette méthode surpasses le MDC à trames impaires-paires (odd-even frame MDC) sous perte de paquets aléatoire et dans les simulations de Réseaux Adhoc Véhiculaires (VANETs). La deuxième contribution représente une solution innovante de MDC utilisant la Représentation Neuronale Implicite (INR). Nous proposons d'abord un MDC utilisant la quantification scalaire en représentation neuronale implicite (INR-MDSQC), qui offre une meilleure qualité de perception que notre MDC basé sur HEVC en séparant de manière efficace l'information de la source. Cependant, l'INR-MDSQC génère deux descriptions déséquilibrées. Pour cette raison, nous introduisons le MDC Spatio-Frequentiel (SF-MDC) pour créer des descriptions équilibrées. Finalement, nous montrons une application du SF-MDC au stockage d'ADN, améliorant à la fois les performances de compression et la robustesse au processus biochimique d'écriture/lecture d'ADN.

Real-time video transmission via wireless networks is often affected by noise. In this context, the retransmission of missing data is impossible. To minimize the impact of losses, several channel-level error correction techniques have been developed, adding redundancy at the binary frame level to correct corrupted packets. However, these techniques' performance is limited to a certain error rate and can be ineffective due to the unpredictable nature of wireless channels. An alternative approach to minimizing distortion from these errors involves using more than one separate wireless channel to transmit the video stream. However, simply duplicating information across both channels leads to bandwidth wastage. Multiple Description Coding (MDC), introduced in 1979 by Gersho, Witsenhausen, Wolf, Wyner, Ziv, and Orarow, which is a form of Joint Source Channel Coding (JSCC), is a candidate solution to this problem. MDC for a source involves creating multiple representations. If all descriptions are correctly received, they are assembled to reconstruct the source with the highest fidelity as possible. Otherwise, each description allows to reconstruct the source with an acceptable quality.This thesis presents two main contributions to MDC. First, we propose a multi-layer, spatial-based MDC. Initial studies demonstrate its robustness compared to HEVC Single Description Coding, showing PSNR enhancements between 1.4 dB and 8.1 dB. We then introduce an MDC decoder achieving up to 92% of precision compared to the reference method. Finally, we present the Multiple Description Bit Allocation (MBDA) algorithm, optimizing principal and redundant information distribution under rate constraints and desired redundancy levels, outperforming odd-even frame MDC under random packet loss and in Vehicular Adhoc Networks (VANETs) simulations.The second contribution represents an innovative MDC using Implicit Neural Representation (INR). We first propose the Implicit Neural Representation Multiple Description Scalar Quantization Coding (INR-MDSQC), which offers better perceptual quality than our HEVC-based MDC by effectively separating information between sources. However, INR-MDSQC generates two imbalanced descriptions. For this reason, we introduce the Spatial Frequency MDC (SF-MDC) to create balanced descriptions. Lastly, we demonstrate an application of SF-MDC to DNA storage, enhancing both compression performance and robustness to the biochemical process of writing and reading DNA.