Synthèse de nouvelles vues à partir d’entrées limitées

Novel view synthesis from sparse inputs

• Auteur / Autrice : Qian Li
• Direction : Franck Multon, Adnane Boukhayma
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, vision
• Date : Soutenance le 17/10/2023
• Etablissement(s) : Université de Rennes (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique)
• Jury : Président / Présidente : Alexandre Krupa
• Jury : Rapporteurs / Rapporteuses : Céline Loscos, Hubert Shum

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Vision par ordinateur

Mots clés libres

Synthèse de nouvelles vues

Champs de rayonnement neuronal

Réseau de champ lumineux

Génération de formes multi-Humaine

Entrées éparses

Neural radiance fields

Light field network

Multi-Human generation

Sparse inputs

Résumé

Malgré le potentiel important de la synthèse de nouvelles vues à partir d’entrées éparses dans les applications d’infographie et de vision par ordinateur, plusieurs défis subsistent dans ce sujet. Cette thèse étudie trois aspects concernant la synthèse de nouvelles vues. Tout d’abord, nous avons présenté une nouvelle approche pour améliorer les NeRF à partir d’entrées éparses. Les méthodes proposées comprennent échantillonnage global avec régularisation, l’augmentation des données, l’échantillonnage de patchs locaux avec régularisation basée sur les patchs et la régularisation de profondeur explicite. Des évaluations approfondies démontrent que notre méthode surpasse les performance de référence. Deuxièmement, nous avons proposé d’améliorer le champ lumineux neuronal à partir d’entrées éparses. Nous utilisons un réseau neuronal implicite conditionné sur les caractéristiques des rayons locaux d’un encodeur à convolutions. Nous atteignons des performances compétitives et offrons une vitesse de rendu beaucoup plus rapide. Troisièmement, nous avons introduit une nouvelle approche pour génération de forme et rayonnement 3D d’un scène contenant plusieurs personnes à partir d’images éparses. Notre approche intègre des contraintes géométriques à l’aide de maillages pré-calculés, de la régularisation des rayons basée sur les patchs et de la régularisation de la saturation. Nous atteignons des performances de pointe sur des données réelles et synthétiques.

Despite the significant potential of novel view synthesis from sparse inputs in computer graphics and computer vision applications, several challenges remain in this topic. This thesis investigates and provides solutions in three aspects regarding novel view synthesis. Firstly, we presented a novel approach to improve NeRF from sparse inputs. The proposed methods include global sampling with regularization, data augmentation, local patch sampling with patch-based regularization, and explicit depth regularization. Extensive evaluations demonstrate our method outperforms baselines. Secondly, We proposed to improve the neural light field from sparse inputs. It employed an implicit neural network conditioned on local ray features from the convolutional encoder. It achieved competitive performance and offered a much faster rendering speed. Thirdly, We introduced a novel 3d shape and radiance generation approach for multiple humans from sparse images. Our approach incorporates geometry constraints using pre-computed meshes, patch-based ray regularization, and saturation regularization. It achieved state-of-the-art performance on real and synthetic data.