Vers une accélération de la synthèse d'images photoréalistes grâce à l'apprentissage par renforcement

Accelerating photorealistic image synthesis with reinforcement learning

• Auteur / Autrice : Franck Vandewiele
• Direction : Samuel Delepoulle, Christophe Renaud
• Type : Projet de thèse
• Discipline(s) : Informatique-25DIN0
• Date : Inscription en doctorat le 04/10/2023
• Etablissement(s) : Littoral
• Ecole(s) doctorale(s) : Sciences, Technologie, Santé
• Partenaire(s) de recherche : Laboratoire : LISIC - Laboratoire d'Informatique, Signal et Image de la Côte d'Opale

Mots clés

Mots clés libres

Apprentissage par renforcement

Échantillonnage préférentiel

Informatique graphique

Simulation d'éclairage

Apprentissage automatique

Synthèse d'image

Reinforcement learning

Importance sampling

Computer graphics

Lightning simulation

Machine learning

Image synthesis

Résumé

La simulation d'éclairage est un sous-domaine de la synthèse d'images qui vise à calculer la propagation des chemins lumineux entre une source de lumière et un capteur (caméra, œil) au sein d'une scène 3D virtuelle. Les images obtenues sont qualifiées de photo-réalistes, au sens où la majorité des phénomènes physiques sous-jacents est simulée : propagation des rayons lumineux avec ou sans milieux participants (air, fumées, etc.), interactions précises entre la lumière et les matériaux dont sont constitués les objets (réflexions directionnelles, phénomènes de réfraction, etc.) L'équation du rendu est une équation fondamentale utilisée en informatique graphique pour modéliser l'interaction de la lumière avec les objets d'une scène virtuelle. Elle décrit comment la lumière est émise par une source, réfléchie, absorbée et transmise à travers les surfaces pour finalement atteindre l'œil du spectateur ou la caméra. L'estimation de Monte Carlo permet de résoudre l'équation du rendu par échantillonnage stochastique : des échantillons aléatoires sont générés pour estimer les différentes composantes de l'équation du rendu. Ces échantillons sont ensuite pondérés et combinés afin de calculer une estimation de la luminance des objets de la scène. L'un des principaux problèmes des algorithmes utilisés réside dans leur temps de convergence très long vers l'image finale (de l'ordre de plusieurs heures pour une image de taille raisonnable), restreignant d'autant leur diffusion dans le domaine de la production audiovisuelle, pour lequel des dizaines de milliers d'images doivent être calculées par heure de vidéo. Dans ce contexte, ce projet vise à explorer la manière dont les avancées récentes en matière d'apprentissage automatique peuvent être exploitées pour accélérer la convergence des méthodes existantes de simulation d'éclairage, en vue de fournir des images exploitables plus rapidement. Les travaux s'intéresseront principalement aux méthodes d'apprentissage par renforcement, dans le contexte d'images statiques et d'animations. Les travaux de Dahm et Keller en 2017 ont montré que les équations utilisées pour l'apprentissage par renforcement et pour la simulation du transport de la lumière sont étroitement liées. Ils ont proposé une méthode permettant d'apprendre l'importance de chaque contribution tout en échantillonnant l'espace des chemins. Cette approche utilise l'apprentissage par renforcement pour apprendre progressivement d'où vient la lumière, et en utilisant ces informations pour l'échantillonnage d'importance, les informations sur la visibilité sont également prises en compte. Ces travaux s'appuient sur l'équation de Bellman et son utilisation dans le Q-learning. Les algorithmes d'apprentissage par renforcement ont toutefois connu de nombreuses améliorations au cours de la dernière décennie. Ils peuvent ainsi désormais traiter des situations caractérisées par un grand nombre de dimensions avec des états et des actions continus. Par exemple, l'algorithme PPO (Proximal Policy Optimization) proposé par Schulman et al. est un algorithme d'apprentissage par renforcement utilisé pour entraîner des agents à prendre des décisions dans un environnement complexe. L'objectif de l'algorithme est d'optimiser une politique de prise de décision, c'est-à-dire une fonction qui associe à chaque état de l'environnement une distribution de probabilité dans l'espace des actions pouvant être entreprises. L'algorithme PPO se base sur la méthode de descente de gradient stochastique pour ajuster la politique de manière itérative.

Lighting simulation is a sub-field of image synthesis that aims to calculate the propagation of light paths between a light source and a sensor (camera, eye) within a virtual 3D scene. The images obtained are described as photo-realistic, in the sense that the majority of the underlying physical phenomena are simulated: propagation of light rays with or without participating media (air, smoke, etc.), precise interactions between light and the materials the objects are made of (directional reflections, refraction phenomena, etc.) The rendering equation is a fundamental equation used in computer graphics to model the interaction of light with objects in a virtual scene. It describes how light is emitted by a source, reflected, absorbed and transmitted through surfaces to finally reach the viewer's eye or the camera. Monte Carlo estimation is used to solve the rendering equation using stochastic sampling: random samples are generated to estimate the different components of the rendering equation. These samples are then weighted and combined to calculate an estimate of the luminance of the objects in the scene. One of the main problems with the algorithms used is that they take a very long time to converge on the final image (on the order of several hours for an image of reasonable size), which restricts their use in audiovisual production, where tens of thousands of images need to be calculated per hour of video. In this context, this project aims to explore how recent advances in machine learning can be exploited to accelerate the convergence of existing lighting simulation methods, with a view to providing usable images more quickly. The work will focus on reinforcement learning methods in the context of static images and animations. Work by Dahm and Keller in 2017 showed that the equations used for reinforcement learning and for simulating light transport are closely related. They proposed a method for learning the importance of each contribution while sampling the path space. This approach uses reinforcement learning to progressively learn where the light is coming from, and by using this information for importance sampling, visibility information is also taken into account. This work is based on the Bellman equation and its use in Q-learning. However, reinforcement learning algorithms have undergone numerous improvements over the last decade. They can now handle situations characterised by a large number of dimensions with continuous states and actions. For example, the PPO (Proximal Policy Optimization) algorithm proposed by Schulman et al. is a reinforcement learning algorithm used to train agents to make decisions in a complex environment. The objective of the algorithm is to optimise a decision-making policy, i.e. a function that associates with each state of the environment a probability distribution in the space of actions that can be taken. The PPO algorithm uses the stochastic gradient descent method to adjust the policy iteratively.