Harmoniques sphériques réelles pour la simulation de l'éclairage et le rendu temps-réel

Real spherical harmonics for lighting simulation and real-time rendering

• Auteur / Autrice : Pierre Mezieres
• Direction : Mathias Paulin
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 29/11/2022
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Denis Kouamé
• Jury : Examinateurs / Examinatrices : Laurent Belcour, Julie Digne
• Jury : Rapporteurs / Rapporteuses : George Drettakis, Cyril Soler

Mots clés

Mots clés contrôlés

Harmoniques sphériques

Processeurs graphiques

Programmation parallèle (informatique)

Simulation par ordinateur

Éclairage

Mots clés libres

Rendu temps réel

Simulation de l'éclairage

Harmoniques sphériques

Programmation parallèle et GPU

Real time rendering

Lighting simulation

Spherical harmonics

Parallel programming and GPU

Résumé

La simulation efficace et de haute qualité de l'éclairage d'environnements 3D a de nombreuses applications : le rendu en temps réel permet des interactions transparentes dans les jeux vidéo et les applications de réalité virtuelle, tandis que le rendu interactif est utilisé par les créateurs de contenu pour évaluer l'aspect d'une scène en quelques secondes, et l'affiner progressivement avant de passer au rendu hors ligne. Ces applications modélisent une géométrie 3D très détaillée où chaque point de la géométrie reçoit de la lumière de toutes les directions. Une partie de l'énergie lumineuse est absorbée par le matériau et une autre partie est réémise potentiellement dans toutes les directions. En conséquence, le champ de radiance reçu ou émis en chaque point de la scène est une fonction sphérique. Ainsi, la simulation de l'éclairage introduit un besoin de caractériser efficacement ces fonctions sphériques. Les harmoniques sphériques répondent à ce besoin en réduisant une fonction sphérique quelconque à un vecteur de coefficients, où chaque coefficient est rattaché à une fonction de base des harmoniques sphériques. Les harmoniques sphériques sont analogues aux séries de Fourier, décomposition en sinus et cosinus, mais définies sur la sphère. Ainsi les harmoniques sphériques décomposent le signal en fréquence et jouent le rôle d'un filtre passe-bas dont la fréquence de coupure dépend du nombre d'harmoniques sphériques impliquées. Par construction, les harmoniques sphériques sont définies sur le corps des complexes. Cependant, cette thèse se concentre sur une utilisation efficace de leurs homologues réelles. En informatique graphique, les harmoniques sphériques sont historiquement utilisées pour stocker efficacement la radiance reçue en tout point de la scène. L'orthogonalité des fonctions de base permet notamment un calcul efficace de la radiance sortante. Néanmoins, le calcul des coefficients d'harmoniques sphériques représentant une radiance quelconque est coûteux et ne peut pas être réalisé en chaque point de la scène et pour chaque image pour le temps réel. Cela limite l'utilisation des harmoniques sphériques à des scènes statiques, dont la géométrie de la scène est généralement fixe et à des sources de lumières statiques elles-aussi, ou à des approximations grossières des coefficients d'harmoniques sphériques représentant le champ de radiance. Ainsi, la première contribution de cette thèse est un calcul efficace des coefficients d'harmoniques sphériques représentant le champ de radiance produit par des lumières sphériques, une dizaine de lumières peuvent-être utilisées en temps réel. La méthode est étendue afin de calculer le gradient spatial des coefficients d'harmoniques sphériques. Le gradient permet de ne calculer les coefficients que sur un ensemble parcimonieux de points tout en ayant une très bonne qualité d'interpolation des coefficients en tout point de la scène. Cela permet d'utiliser des centaines de lumières sphériques en temps réel. Le calcul du gradient des coefficients repose notamment sur une méthode efficace de calcul du gradient des fonctions de base des harmoniques sphériques proposée aussi dans cette thèse. Néanmoins, calculer efficacement les coefficients des fonctions de bases représentant le champ de radiance entrant n'est pas suffisant pour supporter des scènes à la géométrie dynamique. À cette fin, nous proposons un nouveau cadre de travail permettant de calculer efficacement la radiance sortante de n'importe quel point de la scène, en identifiant et en factorisant, notamment, certaines redondances liées aux harmoniques sphériques qui apparaissent dans le calcul de l'éclairage. Enfin, de nombreuses méthodes reposent sur des lumières virtuelles distribuées dans la scène selon l'éclairage primaire pour générer l'éclairage global. Nous proposons un nouveau modèle de lumières virtuelles basé sur le travail effectué pour les lumières sphériques.

Efficient and high-quality simulation of lighting in 3D environments has many applications: real-time rendering enables seamless interactions in video games and virtual reality applications, while interactive rendering is used by content creators to assess the appearance of a scene in seconds, and gradually refine it before moving to offline rendering. These applications model highly detailed 3D geometry where each point in the geometry receives light from all directions. Some of the light energy is absorbed by the material and some is potentially re-emitted in all directions. Consequently, the radiance field received or emitted at each point of the scene is a spherical function. Thus, lighting simulation introduces a need to efficiently characterize these spherical functions. Spherical harmonics address this need by reducing any spherical function to a vector of coefficients, where each coefficient is attached to a spherical harmonic basis function. Spherical harmonics are analogous to Fourier series, decomposition into sine and cosine, but defined on the sphere. Thus, the spherical harmonics decompose the signal in frequency and play the role of a low-pass filter whose cut-off frequency depends on the number of spherical harmonics involved. By construction, spherical harmonics are defined in a complex form. However, this thesis focuses on an efficient use of their real counterparts. In computer graphics, spherical harmonics are historically used to efficiently store the radiance received at any point in the scene. The orthogonality of the basis functions allows an efficient computation of the outgoing radiance. Nevertheless, the computation of the spherical harmonics coefficients representing any radiance is expensive and cannot be performed at each point of the scene and for each image in real time. This limits the use of spherical harmonics to static scenes, with generally fixed scene geometry and static light sources, or to coarse approximations of the spherical harmonic coefficients representing the radiance field. Thus, the first contribution of this thesis is an efficient computation of the spherical harmonic coefficients representing the radiance field produced by spherical lights, a dozen lights can be used in real time. The method is extended to compute the spatial gradient of the spherical harmonic coefficients. The gradient allows computing the coefficients only on a parsimonious set of points while having a very good quality of interpolation of the coefficients in any point of the scene. This allows using hundreds of spherical lights in real time. The computation of the gradient of the coefficients relies in particular on an efficient calculation method of the gradient of the spherical harmonics basis function also proposed in this thesis. Nevertheless, efficiently computing the spherical harmonic coefficients representing the incoming radiance field is not sufficient to support scenes with dynamic geometry. To this end, we propose a new framework to efficiently compute the outgoing radiance of any point in the scene, by identifying and factoring some redundancies related to the spherical harmonics that appear in the final lighting computation. Finally, numerous methods rely on virtual lights distributed in the scene according to the primary lighting to generate the global lighting. We propose a new model of virtual lights based on the work done for spherical lights.