Représentations basées sur des points pour une nouvelle synthèse de vues

Point based representations for novel view synthesis

• Auteur / Autrice : Georgios Kopanas
• Direction : George Drettakis
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 24/11/2023
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Frédo Durand
• Jury : Examinateurs / Examinatrices : George Drettakis, Frédo Durand, Christian Theobalt, Hendrik Lensch, Thomas Muller
• Jury : Rapporteur / Rapporteuse : Christian Theobalt, Hendrik Lensch

Mots clés

Mots clés contrôlés

Reconstruction d'image

Vision par ordinateur

Infographie

Nuages de points

Mots clés libres

Rendu neuronal

Rendu basé sur l'image

Synthèse de vues

NeRF

Champs de rayonnement

Graphique basé sur des points

Neural rendering

Image based rendering

Novel view synthesis

NeRF

Radiance fields

Point based graphics

Résumé

L'objectif principal du rendu inverse est de récupérer des informations 3D à partir d'un ensemble d'observations 2D, généralement un ensemble d'images ou de vidéos. L'observation d'une scène 3D à partir de différents points de vue peut fournir de nombreuses informations sur la géométrie sous-jacente, les matériaux et les propriétés physiques des objets. L'accès à ces informations permet de nombreuses applications en aval. Dans cette thèse, nous nous concentrerons sur la navigation à partir de points de vue libres et sur la synthèse de nouvelles vues qui consiste à rendre, depuis des points de vue non observés, les scènes 3D capturées.Le domaine a pris un essor incroyable après l'invention des champs de rayonnement neuronaux (Neural Radiance Fields ou NeRF). Si les NeRFs permettent d'obtenir une qualité d'image exceptionnelle lors de la synthèse de nouvelles vues, ce n'est pas la seule raison pour laquelle ils ont suscité un fort engagement de la part de la communauté. Une autre propriété importante est la simplicité de l'optimisation: ils permettent de définir le problème de la reconstruction 3D comme un problème d'optimisation continue sur les paramètres d'une représentation de scène avec une fonction objectif photométrique simple.Dans cette thèse, nous conserverons ces deux avantages des NeRF, mais nous proposerons une nouvelle façon de représenter les champs de radiance qui non seulement permet d'obtenir des résultats de pointe en matière de qualité d'image, mais aussi un rendu en temps réel à plus de 100 images par seconde, une optimisation rapide avec une empreinte mémoire raisonnable et une intégration aisée dans les moteurs graphiques.Nous proposons une représentation à partir de points en explorant d'abord comment les points peuvent être utilisés dans un contexte de rendu traditionnel basé sur l'image pour effectuer de la rastérisation différentiable. Ensuite, nous utilisons les points pour traiter les objets courbes hautement réfléchissants, ce qui est sans doute l'un des cas les plus difficiles de la synthèse de nouvelles vues. Dans nos derniers travaux, nous montrons pour la première fois que les nuages de points, augmentés pour devenir des gaussiennes 3D, peuvent conserver les propriétés différentiables des NeRF, mais qu'ils parviennent également à récupérer des signaux à plus haute fréquence et à représenter l'espace vide de manière plus efficace. De plus, leur nature lagrangienne et le fait que, dans la méthode la plus récente, nous parvenons à nous passer de l'utilisation des réseaux de neurones nous permettent d'avoir une représentation explicite et interprétable de la géométrie et de l'apparence.Enfin, nous aborderons brièvement dans cette thèse deux autres sujets intéressants. Le premier sujet consiste à déterminer comment placer les caméras pour capturer efficacement une scène dans le but de la reconstruire en 3D. Dans des environnements complexes non centrés sur l'objet, nous fournissons une intuition théorique et pratique sur le type de placement des caméras qui permet une bonne reconstruction.Le deuxième sujet est motivé par le succès récent des modèles génératifs. Nous étudions comment utiliser des représentations basées sur des points avec des modèles de diffusion. Les méthodes actuelles imposent des limites extrêmement fortes au nombre de points. Dans A travers un travail préliminaire, nous proposons une architecture qui exploite les informations multi-vues comme outil pour décorréler le nombre de points de la vitesse et de la performance du modèle.Nous concluons cette thèse en réfléchissant sur le travail effectué tout au long de la thèse et en esquissant quelques directions intéressantes pour le travail futur.

The primary goal of inverse rendering is to recover 3D information from a set of 2D observations, usually a set of images or videos. Observing a 3D scene from different viewpoints can provide rich information about the underlying geometry, materials, and physical properties of the objects. Having access to this information allows many downstream applications. In this dissertation, we will focus on free-viewpoint navigation and novel view synthesis, which is the task of re-rendering the captured 3D scenes from unobserved viewpoints.The field has gained incredible momentum after the introduction of Neural Radiance Fields or NeRFs. While NeRFs achieve exceptional image quality on novel view synthesis it is not the only reason they managed to attract high engagement with the community. Another important property is the simplicity of the optimization, since they frame the problem of 3D reconstruction as a continuous optimization problem over the parameters of a scene representation with a simple photometric objective function.In this thesis, we will keep these two advantages of NeRFs and propose points as new way to represent Radiance Fields that not only achieves state-of-the-art results on image quality but also achieves real-time rendering at over 100 frames per second. Our solution also offers fast training with tractable memory footprint, and is easily integrated into graphics engines.In a traditional image-based rendering context, we propose a point-based representation with a differentiable rasterization pipeline, that optimizes geometry and appearance to achieve high visual quality for novel view synthesis. Next, we use points to tackle highly reflective curved objects -- arguably one of the hardest cases of novel view synthesis-- by learning the trajectory of reflections. In our latest work we show for the first time that points, augmented to become anisotropic 3D Gaussians, can maintain the differentiable properties of NeRFs but also manage to recover higher frequency signals and represent empty space more efficiently. At the same time, their Lagrangian nature and the fact that, in the most recent method, we manage to omit the use of Neural Networks allows us to have an explicit and interpretable geometry and appearance representation.Finally, in this dissertation, we will also briefly touch two other interesting topics. The first topic is how to place cameras to efficiently capture a scene for the purpose of 3D reconstruction. In complicated non-object-centric environments, we provide theoretical and practical intuition on how to place cameras that allow good reconstruction.The second topic is motivated by the recent success of generative models: we study how we can utilize point-based representations with diffusion models. Current methods impose extreme limitations on the number of points. In exploratory work, we suggest an architecture that leverages multi-view information as a tool to de-correlate the number of points with the speed and performance of the model.We conclude this dissertation by reflecting on the work performed throughout the thesis and sketching some exciting directions for future work.