Estimateurs auto-normalisés et construction simultanée de chemins pour le rendu multi-caméra

Self-normalized estimators and joint path construction for efficient multi-view rendering

• Auteur / Autrice : Basile Fraboni
• Direction : Véronique Eglin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 15/12/2021
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale InfoMaths (Lyon ; 2009-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Institut national des sciences appliquées (Lyon ; 1957-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'InfoRmatique en Images et Systèmes d'information (Ecully, Rhône ; 2003-....) - Laboratoire d'InfoRmatique en Image et Systèmes d'information / LIRIS
• Partenaire(s) de recherche : Equipe de recherche : Origami
• Jury : Président / Présidente : Mathias Paulin
• Jury : Examinateurs / Examinatrices : Véronique Eglin, Mathias Paulin, George Drettakis, Nicolas Holzschuch, Tamy Boubekeur, Jean-Claude Iehl
• Jury : Rapporteur / Rapporteuse : George Drettakis, Nicolas Holzschuch

Mots clés

Mots clés contrôlés

Imagerie (technique)

Mots clés libres

Image

Rendu

Tracé de chemins

Vue multiple

Caméras

Chemin de lumière

Estmateur de Monte Carlo

Image

Rendering

Path Tracing

Multiple view

Light path

Camera

Monte Carlo estimator

Résumé

La simulations du transport de lumière physiquement réaliste est progressivement devenue l'approche standard dans l'industrie de la production d'images. L'algorithme de Path Tracing et ses variantes sont utilisés pour leur capacité à simuler des phénomènes d'éclairage complexe. Cependant, ces simulations nécessitent d'explorer l'ensemble des chemins reliant une source lumineuse au capteur de la caméra. La construction de ces chemins est un processus séquentiel complexe et il est couvent nécéssaire de construire et évaluer un très grand nombre de chemins pour atteindre des niveaux de bruit acceptables dans les images. Ceci est encore plus problématique lorsque l'on ajoute des effets de production tels que le flou de mouvement, la profondeur de champ et le rendu volumétrique. Un autre aspect important est que nous devons souvent calculer plusieurs images d'une même scène, par exemple lors du rendu de paires stéréo ; d'images lenticulaires, d'images de champs lumineux et de stéréogrammes holographiques pour visualiser plusieurs points de vue ; de trajectoires de caméra animées pour les visites virtuelles ou le rendu de séquences animées. Dans cette thèse, notre objectif est d'accélérer le rendu de plusieurs points de vue lors d'une même simulation en exploitant la cohérence entre les caméras. Ceci représente un défi car les méthodes existantes pour réutiliser les chemins entre plusieurs vues introduisent du biais visible dans les images, et ne sont pas adaptées pour tous les effets de production, les matériaux, les surfaces et les volumes qu'une scène peut inclure. Nous développons un nouvel algorithme unidirectionnel pour rendre conjointement plusieurs images d'une meme scène. Nous introduisons de nouvelles méthodes pour transformer et réutiliser les chemins d'une caméra à l'autre en présence de milieux participants et pour générer des sous-chemins qui contribuent le mieux à un sous-ensemble d'observateur, ainsi qu'un un nouvel estimateur de Monte Carlo pour combine correctement les contributions de ces chemins. Nous démontrons sur plusieurs scènes comprenant de la géométrie complexe, des matériaux complexes, des milieux participants et des effets de production que cette méthode réduit efficacement le bruit par rapport aux calculs image par image à temps de calcul équivalent.

Physically based light transport simulations have gradually become the standard approach in the image production industry. The Path Tracing algorithm and its variants are used for their ability to simulate complex lighting phenomena. However, these simulations require the exploration of all the paths connecting a light source to the camera sensor. The construction of these paths is a complex sequential process and it is often necessary to construct and evaluate a very large number of paths to achieve acceptable noise levels in the images. This is even more problematic when adding production effects such as motion blur, depth of field and volumetric rendering. Another important aspect is that we often need to compute multiple images of the same scene, for example when rendering stereo pairs; lenticular images, light field images and holographic stereograms to visualize multiple points of view; animated camera trajectories for virtual tours or rendering motion sequences. In this thesis, our goal is to accelerate the rendering of multiple viewpoints in a single simulation by exploiting the coherence between cameras. This is challenging because existing methods for reusing paths between multiple views may introduce visible bias into the images, and are not suitable for all the production effects, materials, surfaces and volumes that a scene may include. We develop a new unidirectional algorithm to jointly render multiple images of the same scene at once. We introduce new methods for transforming and reusing paths from one camera to another in the presence of participating media and for generating sub-paths that best contribute to a subset of observers, as well as a new Monte Carlo estimator for combining the contributions of these paths with low variance. We demonstrate on several scenes including complex geometry, complex materials, participating media, and production effects that this method effectively reduces noise compared to frame-by-frame computations at equivalent computation time.