Thèse soutenue

Synthèse de nouvelles vues à partir d’entrées limitées

FR  |  
EN
Auteur / Autrice : Qian Li
Direction : Franck MultonBoukhayma Adnane
Type : Thèse de doctorat
Discipline(s) : Signal, image, vision
Date : Soutenance le 17/10/2023
Etablissement(s) : Université de Rennes (2023-....)
Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes ; 2022-....)
Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique)
Jury : Président / Présidente : Alexandre Krupa
Rapporteurs / Rapporteuses : Céline Loscos, Hubert Shum

Résumé

FR  |  
EN

Malgré le potentiel important de la synthèse de nouvelles vues à partir d’entrées éparses dans les applications d’infographie et de vision par ordinateur, plusieurs défis subsistent dans ce sujet. Cette thèse étudie trois aspects concernant la synthèse de nouvelles vues. Tout d’abord, nous avons présenté une nouvelle approche pour améliorer les NeRF à partir d’entrées éparses. Les méthodes proposées comprennent échantillonnage global avec régularisation, l’augmentation des données, l’échantillonnage de patchs locaux avec régularisation basée sur les patchs et la régularisation de profondeur explicite. Des évaluations approfondies démontrent que notre méthode surpasse les performance de référence. Deuxièmement, nous avons proposé d’améliorer le champ lumineux neuronal à partir d’entrées éparses. Nous utilisons un réseau neuronal implicite conditionné sur les caractéristiques des rayons locaux d’un encodeur à convolutions. Nous atteignons des performances compétitives et offrons une vitesse de rendu beaucoup plus rapide. Troisièmement, nous avons introduit une nouvelle approche pour génération de forme et rayonnement 3D d’un scène contenant plusieurs personnes à partir d’images éparses. Notre approche intègre des contraintes géométriques à l’aide de maillages pré-calculés, de la régularisation des rayons basée sur les patchs et de la régularisation de la saturation. Nous atteignons des performances de pointe sur des données réelles et synthétiques.