Débruitage vidéo temps réel pour systèmes embarqués

Real-time video denoising for embedded systems

• Auteur / Autrice : Andrea Petreto
• Direction : Lionel Lacassagne
• Type : Thèse de doctorat
• Discipline(s) : Informatique et systèmes embarqués
• Date : Soutenance le 29/06/2020
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : Pierre Sens
• Jury : Examinateurs / Examinatrices : Daniel Etiemble, Quentin Meunier
• Jury : Rapporteurs / Rapporteuses : Corinne Ancourt, Daniel Ménard

Mots clés

Mots clés contrôlés

Traitement du signal -- Techniques numériques

Temps réel (informatique)

Filtrage du signal

Systèmes embarqués (informatique)

Reconnaissance optique des formes (informatique)

Vision par ordinateur

Mots clés libres

Débruitage vidéo

Systèmes embarqués

Traitement d'images

Optimisations

Architecture des processeurs

Flot optique

SIMD

Vision par ordinateur

Fast video denoising

Embedded systemes

Fast optical flow

Résumé

Pour beaucoup d'applications, la présence de bruit dans les vidéos peut être un problème majeur. Des algorithmes de débruitage existent, la plupart sont qualitativement très efficaces mais au prix d'un temps de traitement trop important pour pouvoir envisager une implémentation temps réel embarquée. D'autres méthodes, plus rares, peuvent être exécutées en temps réel mais gèrent mal les forts niveaux de bruit. Pour bon nombre d'applications, il est cependant important de conserver une bonne qualité d'images en toutes conditions avec parfois d'importantes contraintes d'embarquabilité. Dans ces travaux, nous cherchons à proposer une solution de débruitage vidéo qui permet un traitement en direct sur des systèmes embarqués. La solution proposée doit rester efficace même pour de forts niveaux de bruit. Ici, nous nous limitons à l'utilisation de CPU embarqués d'une consommation inférieure à 30W. Les travaux menés dans le cadre de cette thèse ont permis la mise en place d'une chaîne de débruitage nommée RTE-VD (Real-Time Embedded Video Denoising). RTE-VD se décompose en trois étapes : stabilisation, recalage temporel par flot optique et filtrage spatio-temporel. Sur un CPU embarqué (Jetson AGX), RTE-VD permet de traiter à une cadence de 30 images par seconde, des vidéos au format qHD (960x540 pixels). Afin de pouvoir atteindre ces performances, de nombreux compromis et optimisations ont dû être faits. Nous comparons RTE-VD à d'autres méthodes de référence de la littérature à la fois en termes de qualité du débruitage et de vitesse d'exécution. Nous montrons que RTE-VD apporte un nouveau positionnement pertinent au niveau du rapport qualité/vitesse.

In many applications, noisy video can be a major problem. There are denoising methods with highly effective denoising capabilities but at the cost of a very high computational complexity. Other faster methods are limited in their applications since they does not handle high levels of noise correctly. For many applications, it is however very important to preserve a good image quality in every situation with sometimes strong embedding constraints. In this work, the goal is to propose an embedded solution for live video denoising. The method needs to remain efficient with even under high level of noise. We limit our work to embedded CPU under 30W of power consumption. This work led to a new video denoising algorithm called RTE-VD: Real-Time Embedded Video Denoising. RTE-VD is composed of 3 steps: stabilization, movement compensation by dense optical flow estimation and spatio-temporal filtering. On an embedded CPU (Jetson AGX), RTE-VD runs at 30 frame per seconds on qHD videos (960x580 pixels). In order to achieve such performance, many compromises and optimizations had to be done. We compare RTE-VD to other state-of-the-art methods in both terms of denoising capabilities and processing time. We show that RTE-VD brings a new relevant tradeoff between quality and speed.