Rendu neuronal pour la représentation humaine en 3D avec des caractéristiques biomécaniques

Neural rendering for 3D human representation with biomechanics features

• Auteur / Autrice : Arnab Dey
• Direction : Andrew Ian Comport, Tarek Hamel
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/09/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Informatique, signaux et systèmes (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Franck Davoine
• Jury : Examinateurs / Examinatrices : Andrew Ian Comport, Tarek Hamel, Franck Davoine, Cédric Demonceaux, Tom Drummond, Srinath Sridhar, Jean Martinet
• Jury : Rapporteurs / Rapporteuses : Franck Davoine, Cédric Demonceaux

Mots clés

Mots clés contrôlés

Biomécanique

Apprentissage profond

Capteurs (technologie)

Temps réel (informatique)

Reconnaissance de l'activité humaine (informatique)

Vision par ordinateur

Mots clés libres

Vision par ordinateur

Rendu neuronal

NeRF

Éclaboussures de gaussiennes

Apprentissage profond

Computer vision

Neural rendering

NeRF

Gaussian splatting

Deep learning

Résumé

La représentation numérique des scènes réel en général, et des personnes en particulier, est depuis longtemps un domaine de recherche important en raison de ses applications variées. Les avatars humains réalistes sont essentiels pour les applications en diagnostic médical, de réalité augmentée/virtuelle (AR/VR) et dans l'industrie du divertissement. Ces avatars doivent représenter avec précision la géométrie humaine ainsi que la texture en accord avec les propriétés biomécaniques des humains. Cette thèse présente des techniques innovantes pour générer efficacement et de manière réalistes des avatars humains capturant à la fois les caractéristiques visuelles externes et les propriétés biomécaniques sous-jacentes et ce en utilisant des techniques de rendu neuronal.Les techniques de rendu neuronal, notamment avec l'introduction des champs de radiance neuronaux (NeRF) et de la technique d'éclaboussures de gaussiennes (Gaussian Splatting), ont récemment montré un grand potentiel pour générer des représentations photoréalistes de scènes 3D à partir de prises de vues multiples. Le rendu neuronal est devenu un choix attractif pour la communauté de la reconstruction 3D, non seulement en raison de sa qualité photoréaliste impressionnante, mais aussi en raison de sa simplicité, ce qui en a fait un choix populaire pour les techniques de reconstruction humaine 3D ainsi que pour la représentation de scènes. Cependant, les premières méthodes NeRF ont souvent eu du mal à estimer une géométrie 3D précise pour les humains et manquaient de propriétés supplémentaires telles que les caractéristiques structurelles humaines et les informations de pose. En s'appuyant sur les avantages des techniques de rendu neuronal, cette thèse propose de nouvelles approches pour surmonter les limitations actuelles, permettant la génération d'avatars humains 3D précis avec des propriétés biomécaniques en temps réel.Tout d'abord, nous abordons les problèmes plus généraux de la géométrie inexacte des NeRF et du temps d'entraînement long en proposant Mip-NeRF RGB-D, une approche novatrice qui exploite les informations de profondeur pour réduire le temps d'entraînement et améliorer la géométrie, améliorant ainsi la performance des techniques basées sur les NeRF. Ensuite, nous nous concentrons sur les problèmes concernant la représentation humaine basée sur les NeRF et introduisons GHNeRF, une méthode conçue pour apprendre les emplacements des articulations 2D et 3D des sujets humains en utilisant le cadre NeRF. GHNeRF utilise des encodeurs d'images 2D pré-entraînés pour extraire les caractéristiques humaines essentielles des images 2D, qui sont ensuite intégrées dans le cadre des NeRF pour estimer les propriétés biomécaniques cruciales. Enfin, nous proposons HFGaussian, une technique pour générer des avatars humains virtuels avec des poses 3D et des caractéristiques biomécaniques en temps réel en utilisant une méthode de Gaussian Splatting. HFGaussian utilise des encodeurs d'images pour extraire les caractéristiques humaines pertinentes et un réseau d'estimation de pose 3D pour prédire la pose 3D. Les méthodes proposées ont montré des améliorations significatives en termes d'estimation des propriétés photométriques, géométriques et biomécaniques grâce aux techniques de rendu neuronal.Les techniques présentées dans cette thèse visent à permettre le développement d'avatars humains réalistes, afin de rendre l'expérience utilisateur la plus immersives et la plus naturelle naturelles possible en environnement virtuel. De plus, ces méthodes ont un potentiel substantiel dans différents domaines tels que les applications médicales, y compris à des fins de diagnostique, la planification chirurgicale, l'éducation des patients et l'analyse biomécanique.

The digital representation of real-world scenes, particularly human subjects, has long been a significant area of research due to its wide-ranging applications in various domains. Realistic virtual human avatars are critical for applications in medical diagnosis, augmented reality/virtual reality (AR/VR), and the entertainment industry. These avatars must accurately represent the human geometry, texture, and human biomechanics properties. This thesis focuses on the above mentioned topics by introducing innovative techniques for efficiently generating highly realistic virtual human avatars that capture both external visual features and underlying biomechanical properties using neural rendering techniques.Neural rendering techniques, particularly with the introduction of Neural Radiance Fields (NeRF) and Gaussian splatting, have recently shown great potential in generating photorealistic 3D scene representations from multiview images. Neural rendering has become an attractive choice for the 3D reconstruction community, not just due to its impressive photo-realistic quality, but also because of its simplicity, which has made it a popular choice for 3D human reconstruction as well as scene representation. However, one of the drawbacks of early NeRF methods was that they often struggled to estimate accurate 3D geometry and lacked additional properties such as structural human features and poses information. Building upon the benefits of neural rendering techniques, this thesis proposes novel approaches to address these limitations, enabling the generation of accurate 3D human avatars with biomechanical properties in real time.First, we address the broader issues of NeRF's inaccurate geometry and long training time by proposing Mip-NeRF RGB-D, a novel approach that leverages depth information to reduce training time and improve geometry, thereby enhancing the performance of NeRF-based techniques. Second, we focus on issues regarding NeRF-based human representation and introduce GHNeRF, a method designed to learn 2D and 3D joint locations of human subjects using the NeRF framework. GHNeRF utilizes pre-trained 2D image encoders to extract essential human features from 2D images, which are then integrated into the NeRF framework to estimate crucial biomechanical properties. Finally, we propose HFGaussian, a technique for generating virtual humans with 3D pose and biomechanical features in real time using a Gaussian splatting method. HFGaussian employs image encoders to extract relevant human features and a 3D pose estimation network to predict 3D human pose. The proposed methods have shown significant improvements in estimating photometric, geometric, and biomechanic properties through neural rendering techniques.The techniques presented in this thesis aim to enable the development of highly realistic virtual human avatars, allowing for a more engaging and natural user experiences in virtual environments. Furthermore, these methods have substantial potential to be applied in other domains such as medical applications, including diagnostic purposes, surgical planning, patient education, and biomechanical analysis.