Numérisation d'objets par champs de radiance : acquisition, rendu et évaluation avec ré-éclairage sur différents types d'afficheurs

Objects digitization using radiance fields: acquisition, rendering, and evaluation with relighting on different types of displays

• Auteur / Autrice : Wassil Lebsaira
• Direction : Alexis Paljic, Jean-Emmanuel Deschaud
• Type : Projet de thèse
• Discipline(s) : Informatique temps réel, robotique et automatique - Paris
• Date : Inscription en doctorat le 20/10/2025
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique
• Partenaire(s) de recherche : Laboratoire : Mathématiques et Systèmes
• Partenaire(s) de recherche : Equipe de recherche : CAOR - Centre de CAO et Robotique
• Partenaire(s) de recherche : établissement opérateur d'inscription : Mines Paris-PSL

Mots clés

Mots clés libres

Rendu Différentiable

Ré-éclairage

Lancer de Rayon

Réalité Virtuelle

NeRF

Gaussian Splatting

Differentiable Rendering

Relighting

Ray Tracing

Virtual Reality

NeRF

Gaussian Splatting

Résumé

Les méthodes de numérisation 3D classiques, basées sur la photogrammétrie, peinent souvent à restituer fidèlement l'apparence d'objets complexes. Les limitations apparaissent notamment face à des matériaux transparents, des structures géométriques fines ou des interactions complexes entre la lumière et la matière. Ce projet de thèse se positionne sur les techniques récentes de rendu par champs de radiance, telles que NeRF et 3D Gaussian Splatting, qui offrent une représentation beaucoup plus fidèle de la géométrie et de l'apparence des objets. L'objectif principal est d'étudier et d'optimiser l'ensemble de la chaîne de traitement, de l'acquisition photographique des objets jusqu'à leur visualisation interactive. Pour ce faire, une étude approfondie sera menée sur l'intégralité du processus, afin d'améliorer la qualité de la reconstruction 3D. Les méthodes de pointe comme 3D Gaussian Splatting et RayGauss seront utilisées comme base pour ces développements. Une attention particulière sera portée à la capacité de ré-éclairer interactivement les scènes, dont la fidélité du rendu sera évaluée via des métriques et des études utilisateurs sur une gamme variée de dispositifs d'affichage, allant des écrans classiques aux casques de réalité virtuelle et écrans autostéréoscopiques.

Classical 3D scanning methods, based on photogrammetry, often struggle to faithfully render the appearance of complex objects. Limitations arise, particularly when dealing with transparent materials, fine geometric structures, or complex light-medium interactions. This PhD project focuses on recent rendering techniques based on radiance fields, such as NeRF and 3D Gaussian Splatting, which offer a much more faithful representation of object geometry and appearance. The main objective is to study and optimize the entire processing pipeline, from the photographic acquisition of objects to their interactive visualization. To achieve this, a thorough study of the entire process will be conducted, with a particular focus on optimizing the acquisition protocol to improve the quality of the 3D reconstruction. State-of-the-art methods like 3D Gaussian Splatting and RayGauss will be used as a basis for these developments. Particular attention will be paid to the ability to interactively relight the scenes. The rendering fidelity will be evaluated via metrics and user studies on a varied range of display devices, from conventional screens to virtual reality headsets and autostereoscopic displays.