Techniques variationnelles pour l'analyse d'images et la compression vidéo

Variational methods for PDE-based image and video compression

• Auteur / Autrice : Thomas Jacumin
• Direction : Zakaria Belhachmi
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 15/12/2022
• Etablissement(s) : Mulhouse
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique, Mathématiques, Automatique et Signal (Mulhouse) - Institut de Recherche en Informatique Mathématiques Automatique Signal - IRIMAS - UR 7499 / IRIMAS

Mots clés

Mots clés contrôlés

Processeurs graphiques

Transport optimal de mesure

Compression d'images

Compression vidéo

Équations aux dérivées partielles

Mots clés libres

Compression vidéo

Optimisation de formes

Inpainting d'image

Flot optique

Transport optimal

Calcul numérique

GPU (processeur graphique)

Video compression

Shape optimization

Image inpainting

Optical flow

Optimal transportation

Numerical calculation

GPU (Graphics processing unit)

Résumé

Dans cette thèse, nous allons proposer des modèles et des méthodes mathématiques basées sur les équations aux dérivées partielles permettant de compresser des images ainsi que des vidéos. Dans la première partie, nous allons proposer un critère mathématique permettant de localiser les meilleurs pixels à garder au sein d’une image dans le cas où la méthode d’inpainting est l’équation de la chaleur. Pour cela, nous écrirons le problème de compression comme un problème d’optimisation de forme, dont le coût sera une “erreur” entre l’image d’origine et l’image décompressée/reconstruite. Dans un premier temps, nous nous restreindrons au coût L² ainsi qu’à la première itération d’un schéma explicite en temps de l’équation de la chaleur. Nous pourrons expliciter un critère de sélection au moyen du gradient topologique et un critère relâché. Nous étendons ce critère au cas d’une procédure itérative de sélection des pixels en considérant cette fois-ci une itération quelconque de l’inpainting, améliorant ainsi les performances de la méthode. Dans un second temps, nous étudierons le cas d’un coût plus général, dont un critère sera donné par la méthode de l’adjoint. Dans la seconde partie, nous nous intéresserons au cas de la compression vidéo en étudiant le flot optique. Nous proposerons un nouveau modèle de flot optique utilisant le transport optimal. Enfin, dans la troisième partie, nous implémenterons un codec vidéo complet et nous le comparerons avec les codecs existants. Nous comparerons la taille effective de la vidéo compressée ainsi que la qualité de la vidéo décompressée. Pour finir, nous proposerons du calcul sur GPU afin d’accélérer la résolution numérique des équations.

In this thesis, we will propose mathematical models and methods based on partial differential equations to compress images and videos. In the first part, we will propose a mathematical criterion allowing us to locate the best pixels to keep within an image in the case where the inpainting method is the heat equation. To do so, we will write the compression problem as a shape optimization problem, whose cost will be an "error" between the original image and the decompressed/reconstructed image. Initially, we will restrict ourselves to the cost L² and to the first iteration of a time-explicit scheme of the heat equation. We will be able to make explicit a selection criterion using the topological gradient and a relaxed criterion. We will extend this criterion to the case of an iterative pixel selection procedure considering this time any iteration of the inpainting, thus improving the performance of the method. In a second part, we will study the case of a more general cost, for which a criterion will be given by the adjoint method. In the second part, we will focus on the case of video compression by studying the optical flow. We will propose a new optical flow model using the optimal transport. Finally, in the third part, we will implement a complete video codec and compare it with existing codecs. We will compare the effective size of the compressed video and the quality of the decompressed video. Finally, we will propose GPU computing to accelerate the numerical resolution of the equations.