Champs de radiance dynamique informés par la physique

Physics informed dynamic radiance fields

• Auteur / Autrice : Petros Tzathas
• Direction : George Drettakis
• Type : Projet de thèse
• Discipline(s) : Automatique traitement du signal et des images
• Date : Inscription en doctorat le 01/11/2023
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : GRAPHics and DEsign with hEterogeneous Content

Mots clés

Mots clés libres

Champs de radiance

Physique

Rendering

Radiance fields

Physics

Rendering

Résumé

Dans cette thèse, nous visons à faire progresser le domaine de la reconstruction de scènes 3D en abordant les principaux défis liés à la capture des propriétés physiques de scènes dynamiques du monde réel. Bien que les méthodes existantes se concentrent sur la reconstruction du mouvement des scènes, elles manquent de compréhension des modèles physiques sous-jacents qui régissent le mouvement observé [ACDS22, LQCJ+23]. Cette limitation empêche l'interaction naturelle avec la scène et la création de déformations physiquement plausibles. Pour surmonter cette limitation, nous proposons une nouvelle approche combinant une modélisation basée sur la physique, une reconstruction du champ de radiance 3D et une estimation du mouvement pour permettre un rendu réaliste et des interactions 3D interactives. Nous nous appuyons sur les travaux initiaux développés dans notre groupe en construisant des techniques d'analyse modale couramment utilisées en infographie, qui introduisent une formulation lagrangienne basée sur les particules pour reconstruire le mouvement d'une scène 3D à partir d'observations vidéo 2D. Contrairement aux méthodes précédentes qui utilisent des champs de radiance neuronale, cette approche permet un suivi persistant des points 3D déformants tout au long de la séquence de mouvement. Une analyse modale est ensuite effectuée pour extraire les fréquences modales présentées par les objets, qui sont utilisées pour générer de nouvelles déformations de scène. En raisonnant sur les propriétés physiques de la scène en 3D, cette méthode surmonte les limitations d'occlusion et permet la synthèse de nouvelles vues de caméra du mouvement. Cette thèse s'appuiera sur trois axes principaux. Premièrement, l'objectif est d'intégrer les connaissances en physique dans le processus de formation, améliorant ainsi la qualité et la rapidité de l'estimation de la déformation. Deuxièmement, une représentation unifiée pour le rendu et l'estimation de mouvement sera développée, utilisant des gaussiennes 3D pour permettre une reconstruction et un rendu efficaces et flexibles de scènes dynamiques. Cette approche, s'appuyant sur des travaux récents sur l'estimation rapide du champ de radiance [KKLD23], promet d'accélérer la formation et de faciliter le rendu interactif. Enfin, la proposition cherche à étendre la méthode pour gérer des mouvements complexes au-delà des objets oscillatoires et rigides, notamment les mouvements mécaniques, les corps articulés et les déformations élastiques ou plastiques. Ces défis seront progressivement relevés, en intégrant potentiellement des méthodes d'optimisation discrètes et en explorant de nouveaux outils d'optimisation basés sur des lois physiques telles que l'élasticité. Les références [ACDS22] Jad Abou-Chakra, Feras Dayoub, and Niko Su¨nderhauf. Particlenerf: Particle based encoding for online neural radiance fields in dynamic scenes. arXiv preprint arXiv:2211.04041, 2022. [LQCJ+23] Xuan Li, Yi-Ling Qiao, Peter Yichen Chen, Krishna Murthy Jatavallabhula, Ming Lin, Chenfanfu Jiang, and Chuang Gan. 2023. PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification. In The Eleventh International Conference on Learning Representations. [PPGT+23] A. Petitjean, Y. Poirer-Ginter, A. Tewari, G. Cordonnier, and G. Drettakis. Modalnerf: Neural modal analysis and synthesis for free-viewpoint navigation in dynamically vi- brating scenes. In Computer Graphics Forum (Proc. Eurographics Symposium on Rendering), 2023 [KKLD23] B. Kerbl, G. Kopanas, T. Leimkuehler, and George Drettakis. 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics, SIGGRAPH, 2023

In this thesis we aim to advance the field of 3D scene reconstruction by addressing key challenges in capturing the physical properties of dynamic real-world scenes. While existing methods focus on reconstructing the motion of scenes, they lack an understanding of the underlying physical models that govern the observed motion [ACDS22, LQCJ+23]. This limitation prevents natural interaction with the scene and the creation of physically-plausible deformations. To overcome this limitation we propose a novel approach that combines physics-based modeling, 3D radiance field reconstruction, and motion estimation to enable realistic rendering and interactive 3D interactions. We build on initial work developed in our group building modal analysis techniques commonly used in computer graphics, which introduces a particle-based Lagrangian formulation for reconstructing 3D scene motion from 2D video observations. Unlike previous methods that use neural radiance fields, this approach allows persistent tracking of deforming 3D points throughout the entire motion sequence. Modal analysis is then performed to extract the modal frequencies exhibited by the objects, which are used to generate new scene deformations. By reasoning about the physical properties of the scene in 3D, this method overcomes occlusion limitations and enables the synthesis of novel camera views of the motion. This thesis will build on three main axes. Firstly, the aim is to incorporate physics knowledge into the training process, enhancing the quality and speed of the deformation estimation. Secondly, a unified representation for both rendering and motion estimation will be developed, utilizing 3D Gaussians to enable efficient and flexible reconstruction and rendering of dynamic scenes. This approach, building on recent work in fast radiance field estimation [KKLD23], promises to accelerate training and facilitate interactive rendering. Lastly, the proposal seeks to extend the method to handle complex motions beyond oscillatory and rigid objects, including mechanical motion, articulated bodies, and elastic or plastic deformations. These challenges will be progressively addressed, potentially incorporating discrete optimization methods and exploring new optimization tools based on physical laws such as elasticity. References [ACDS22] Jad Abou-Chakra, Feras Dayoub, and Niko Su¨nderhauf. Particlenerf: Particle based encoding for online neural radiance fields in dynamic scenes. arXiv preprint arXiv:2211.04041, 2022. [LQCJ+23] Xuan Li, Yi-Ling Qiao, Peter Yichen Chen, Krishna Murthy Jatavallabhula, Ming Lin, Chenfanfu Jiang, and Chuang Gan. 2023. PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification. In The Eleventh International Conference on Learning Representations. [PPGT+23] A. Petitjean, Y. Poirer-Ginter, A. Tewari, G. Cordonnier, and G. Drettakis. Modalnerf: Neural modal analysis and synthesis for free-viewpoint navigation in dynamically vi- brating scenes. In Computer Graphics Forum (Proc. Eurographics Symposium on Rendering), 2023 [KKLD23] B. Kerbl, G. Kopanas, T. Leimkuehler, and George Drettakis. 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics, SIGGRAPH, 2023