Réseaux des neurones bayésiens pour la modélisation générative de la distribution de Boltzmann-Gibbs

Bayesian Neural Networks for Boltzmann-Gibbs Distribution Generative Modelling

• Auteur / Autrice : Dimitrios Tzivrailis
• Direction : Alberto Rosso
• Type : Projet de thèse
• Discipline(s) : Physique
• Date : Inscription en doctorat le 11/09/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Physique en Île-de-France (Paris ; 2014-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Physique Théorique et Modèles Statistiques
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Réseaux des neurones bayésiens

Modèles génératifs profonds

Physique Statistique

Bayesian Neural Networks

Deep Generative Models

Statistical Physics

Résumé

Les modèles génératifs profonds sont des distributions échantillonnables et/ou calculables dont la densité de probabilité est paramétrée par un réseau de neurones. Leur objectif d'entraînement peut être interprété comme une généralisation de l'approche champ moyen développée en physique statistique. En pratique, modéliser la distribution de Boltzmann-Gibbs d'un système physique par une distribution variationnelle dérivable permet d'accélérer des calculs numériques ou bien encore d'estimer des observables physiques. Il est alors crucial de correctement caractériser l'erreur induite par cette approximation : elle due d'une part au biais de représentation causé par le choix de la famille variationnelle et d'autre part à l'incertitude portant sur les paramètres du réseau de neurones. L'objectif de ce travail de thèse est de déterminer l'incertitude de prédiction d'un modèle génératif profond modélisant un système physique type systèmes de spins ou bien théorie de champ quantique. Cette incertitude épistémique pourra notamment être décrite au travers des méthodes d'inférence bayésienne. L'optimisation classique par descente de gradient stochastique sera alors remplacée par l'échantillonnage de la loi a posteriori des paramètres d'un réseaux de neurones bayésiens.

Deep generative models are parametric distributions that can be sampled and/or evaluated and whose probability density is parameterized by a neural network. Their training objective can be interpreted as a generalization of the mean-field approach developed in statistical physics. In practice, modeling the Boltzmann-Gibbs distribution of a physical system by a derivable variational distribution can be used to speed up numerical calculations or estimate physical observables. It is then crucial to correctly characterize the error induced by this approximation: it is due on the one hand to the representation bias caused by the choice of the variational family and on the other hand to the uncertainty concerning the neural network parameters. The aim of this thesis is to determine the prediction uncertainty of a deep generative model of a physical system such as a spin system or quantum field theory. In particular, this epistemic uncertainty can be described using Bayesian inference methods. Classical optimization by stochastic gradient descent will then be replaced by a posteriori sampling of the parameters of a Bayesian neural network.