Algorithmes de super-résolution d'images et de vidéos basés sur des méthodes d'apprentissage

Algorithms for super-resolution of images and videos based on learning methods

• Auteur / Autrice : Marco Bevilacqua
• Direction : Aline Roumy, Christine Guillemot
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 04/06/2014
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes)
• Partenaire(s) de recherche : PRES : Université européenne de Bretagne (2007-2016)

Mots clés

Mots clés contrôlés

Apprentissage automatique

Algorithmes

Traitement d'images -- Techniques numériques

Mots clés libres

Conception d'algorithmes de super-résolution d'images et de vidéos

Algorithms

Image processing

Machine learning

Résumé

Par le terme ''super-résolution'' (SR), nous faisons référence à une classe de techniques qui améliorent la résolution spatiale d'images et de vidéos. Les algorithmes de SR peuvent être de deux types : les méthodes ''multi-frame'', où plusieurs images en basse résolution sont agrégées pour former une image unique en haute résolution, et les méthodes ''single-image'', qui visent à élargir une seule image. Cette thèse a pour sujet le développement de théories et algorithmes pour le problème single-image. En particulier, nous adoptons une approche ''basée sur exemples'', où l'image de sortie est estimée grâce à des techniques d'apprentissage automatique, en utilisant les informations contenues dans un dictionnaire d'exemples. Ces exemples consistent en des blocs d'image, soit extraits à partir d'images externes, soit dérivées de l'image d'entrée elle-même. Pour les deux types de dictionnaire, nous concevons de nouveaux algorithmes de SR présentant de nouvelles méthodes de suréchantillonnage et de construction du dictionnaire, et les comparons à l'état de l'art. Les résultats obtenus s'avèrent très compétitifs en termes de qualité visuelle des images de sortie et de complexité des calculs. Nous appliquons ensuite nos algorithmes au cas de la vidéo, où l'objectif est d'élargir la résolution d'une séquence vidéo. Les algorithmes, opportunément adaptées pour faire face à ce cas, sont également analysés dans le contexte du codage. L'analyse effectuée montre que, dans des cas spécifiques, la SR peut aussi être un outil efficace pour la compression vidéo, ouvrant ainsi de nouvelles perspectives intéressantes.

With super-resolution (SR) we refer to a class of techniques that enhance the spatial resolution of images and videos. SR algorithms can be of two kinds: multi-frame methods, where multiple low-resolution images are aggregated to form a unique high-resolution image, and single-image methods, that aim at upscaling a single image. This thesis focuses on developing theory and algorithms for the single-image SR problem. In particular, we adopt the so called example-based approach, where the output image is estimated with machine learning techniques, by using the information contained in a dictionary of image “examples”. The examples consist in image patches, which are either extracted from external images or derived from the input image itself. For both kinds of dictionary, we design novel SR algorithms, with new upscaling and dictionary construction procedures, and compare them to state-of-the-art methods. The results achieved are shown to be very competitive both in terms of visual quality of the super-resolved images and computational complexity. We then apply our designed algorithms to the video upscaling case, where the goal is to enlarge the resolution of an entire video sequence. The algorithms, opportunely adapted to deal with this case, are also analyzed in the coding context. The analysis conducted shows that, in specific cases, SR can also be an effective tool for video compression, thus opening new interesting perspectives.