Colorisation automatique d'images et de vidéos à l'aide de réseaux de neurones et méthodes variationnelles

Automatic colorization of images and videos with CNN and variationnal methods.

• Auteur / Autrice : Nicolas Maignan
• Direction : Frédéric Sur, Fabien Pierre
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 10/10/2022
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
• Partenaire(s) de recherche : Equipe de recherche : MAGRIT

Mots clés

Mots clés libres

Édition d'image

Apprentissage automatique

Deep learning

Vision par ordinateur

Image editing

Machine learning

Deep learning

Computer vision

Résumé

L'objectif de cette thèse est de dépasser les performances des méthodes existantes de colorisation automatique de vidéos. Ces méthodes présentent des résultats spectaculaires à première vue, mais sont affectées par des artefacts numériques rédhibitoires pour l'utilisation dans une chaîne de production. Citons par exemple l'utilisation de moyennes de couleur qui donnent un rendu terne, la difficulté de bien localiser les couleurs qui fait ``baver'' la colorisation ou l'intégration de l'estimation du mouvement pour propager la colorisation temporellement dans une vidéo. Cette méthode rend les résultats de colorisation moins ternes en évitant les moyennes de couleur tout en les régularisant par minimisation de la variation totale. Dans un premier temps, une phase exploratoire se focalisera sur l'apport de la régularité du résultat des réseaux de neurones. On explorera à cet effet les {it Deep Image Prior} (DIP) afin de régulariser l'image au lieu d'utiliser la variation totale. Une piste possible sera un travail sur la modification de la fonction de coût des réseaux qui pourra intégrer la variation totale de l'image finale. Dans le même esprit, on pourra également chercher à réduire le biais de la méthode variationnelle. Dans le cadre de la colorisation de vidéos anciennes, on comparera des architectures de réseaux de neurones de colorisation trame par trame et en blocs de trames, notamment pour voir s'il y a des avantages notamment dans le cadre des occultations. Dans un second temps, on pourra investiguer la structure non-euclidienne de la couleur (par exemple l'espace cylindrique HSI) et utiliser une moyenne non-euclidienne de la couleur dans le cadre des réseaux de neurones.

The aim of this thesis is to outperform the existing automatic video colorization methods. These methods provides spectacular results at first sight, but are blurred by digital artifacts that are prohibitive for production.