Édition et rendu de champs de lumière

Light field editing and rendering

• Auteur / Autrice : Matthieu Hog
• Direction : Christine Guillemot, Neus Sabater
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/11/2018
• Etablissement(s) : Rennes 1 en cotutelle avec Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : ComuE : Université Bretagne Loire (2016-2019)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique) - SIROCCO

Mots clés

Mots clés contrôlés

Vision par ordinateur

Traitement du signal

Mots clés libres

Traitement du signal

Vision par ordinateur

Photographie de calcul

Signal processing

Computer vision

Computational photography

Résumé

En imageant une scène à partir de différents points de vue, un champ de lumière permet de capturer de nombreuses informations sur la géométrie de la scène. Grâce aux récents progrès de ses dispositifs d’acquisition, l’imagerie par champs de lumière est devenue une alternative sérieuse à la capture de contenu 3D et à d’autres problèmes connexes. Le but de cette thèse est double. L'une des principales applications de l'imagerie par champs de lumière est sa capacité à produire de nouvelles vues à partir d'une capture unique. Dans une première partie, nous proposons de nouvelles techniques de rendu d’image dans deux cas qui s’écartent des cas usuels. Nous proposons d’abord un pipeline complet pour les caméras plénoptiques focalisées, traitant la calibration, l’estimation de profondeur et le rendu de l’image. Nous passons ensuite au problème de la synthèse des vues, nous cherchons à générer des vues intermédiaires à partir d’un ensemble de 4 vues seulement. La retouche d'image est une étape commune de la production de média. Pour les images et les vidéos 2D, de nombreux outils commerciaux existent. Cependant, le problème est plutôt inexploré pour les champs de lumière. Dans une seconde partie, nous proposons des techniques d’édition de champs de lumière à la fois nouvelles et efficaces. Nous proposons tout d’abord une nouvelle méthode de segmentation niveau pixel basée sur des graphes, qui à partir d’un ensemble limité d’entrées utilisateur, segmente simultanément toutes les vues d’un champ de lumière. Nous proposons ensuite une approche de segmentation automatique des champs de lumière qui utilise la puissance de calcul des GPUs. Cette approche diminue encore les besoins en calcul et nous étendons l'approche pour la segmentation de champs de lumières vidéo.

By imaging a scene from different viewpoints, a light field allows capturing a lot of information about the scene geometry. Thanks to the recent development of its acquisition devices (plenoptic camera and camera arrays mainly), light field imaging is becoming a serious alternative for 3D content capture and other related problems. The goal of this thesis is twofold. One of the main application for light field imaging is its ability to produce new views from a single capture. In a first part, we propose new image rendering techniques in two cases that deviate from the mainstream light field image rendering. We first propose a full pipeline for focused plenoptic cameras, addressing calibration, depth estimation, and image rendering. We then move to the problem of view synthesis, we seek to generate intermediates views given a set of only 4 corner views of a light field. Image editing is a common step of media production. For 2D images and videos, a lot of commercial tools exist. However, the problem is rather unexplored for light fields. In a second part, we propose new and efficient light field editing techniques. We first propose a new graph-based pixel-wise segmentation method that, from a sparse set of user input, segments simultaneously all the views of a light field. Then we propose an automatic light field over-segmenting approach that makes use of GPUs computational power. This approach further decreases the computational requirement for light field segmentation and we extend the approach for light field video segmentation.