Décomposition intrinsèque multi vue et ré-éclairage
Auteur / Autrice : | Sylvain Duchêne |
Direction : | George Drettakis |
Type : | Thèse de doctorat |
Discipline(s) : | Informatique |
Date : | Soutenance le 28/04/2015 |
Etablissement(s) : | Nice |
Ecole(s) doctorale(s) : | École doctorale Sciences et technologies de l'information et de la communication (Sophia Antipolis, Alpes-Maritimes) |
Partenaire(s) de recherche : | Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes) - Rendering and virtual environments with sound |
Jury : | Président / Présidente : Céline Loscos |
Examinateurs / Examinatrices : George Drettakis, Céline Loscos, Diego Gutierrez, Michael Goesele, Kartic Subr, Adrien Bousseau | |
Rapporteurs / Rapporteuses : Diego Gutierrez, Michael Goesele |
Mots clés
Mots clés contrôlés
Résumé
Nous introduisons un algorithme de décomposition intrinsèque multi-vue qui permet de ré-éclairer une scène extérieure en utilisant quelques images en entrée. Plusieurs applications comme l’architecture, jeux et films exigent de manipuler un modèle 3D d’une scène. Cependant, la modification de telles scènes est limitée par les conditions d’éclairage de capture. Notre méthode estime les images intrinsèques prises dans des conditions d’éclairage identiques avec des ombres. Nous utilisons conjointement une reconstruction 3D automatique et la direction du soleil pour obtenir la décomposition de chaque image en calques de réflectance et d’éclairage malgré l’inexactitude des données du modèle 3D. Notre approche est basée sur deux idées principales. Tout d’abord, nous raffinons l’estimation des paramètres de notre modèle de formation d’image en combinant la simulation d’éclairage 3D avec des méthodes d’optimisation basée image. Deuxièmement, nous utilisons ce modèle pour exprimer la réflectance en fonction de valeur de visibilité discrète pour l’ombre et la lumière, ce qui nous permet d’introduire un classificateur d’ombre robuste pour des paires de points dans une scène. Nos calques intrinsèques sont de qualité suffisante pour manipuler les images d’entrée. Nous déplaçons les ombres portées en créant une géométrie qui préserve les silhouettes d’ombre. Notre méthode est compatible avec les approches de rendu basé image et réduit les coûts de création de contenu 3D. Enfin, nous présentons une étude sur les limites du modèle de réflectance diffus et la difficulté d’appliquer les approches existantes dans le cadre de reconstruction 3D multi vue où les données sont imprécises.