Estimation de distributions a posteriori pour modèles hiérarchiques à l'aide de modèles génératifs profonds : Théorie et Méthodes

Hierarchical posterior estimation with deep generative models : Theory and methods

• Auteur / Autrice : Camille Touron
• Direction : Julyan Arbel
• Type : Projet de thèse
• Discipline(s) : Mathématiques Appliquées
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann
• Partenaire(s) de recherche : Equipe de recherche : MISTIS

Mots clés

Mots clés libres

Modèles hiérarchiques bayésiens

Modèles génératifs profonds

Estimation de distributions a posteriori

Hierarchical Bayesian models

Deep generative models

Estimation of posterior distribution

Résumé

Inférer les paramètres d'un modèle stochastique à partir d'observations expérimentales est central à la méthode scientifique. Dans ce projet de thèse, nous considérons une approche bayésienne dans laquelle la solution d'un tel problème inverse est donnée en termes de distribution postérieure, c'est-à-dire une fonction de densité de probabilité atteignant des valeurs plus élevées dans les régions de l'espace des paramètres qui sont plus susceptibles d'avoir généré une observation donnée. Cependant, obtenir des échantillons de la distribution postérieure peut être très difficile lorsque les sorties du modèle sont obtenues par des simulations complexes (par exemple, des solutions d'équations différentielles non linéaires). En effet, dans ces cas, la vraisemblance du modèle est souvent impossible à évaluer et les procédures classiques de Monte Carlo par chaînes de Markov (MCMC) ne peuvent pas être utilisées. L'inférence basée sur la simulation (SBI) se distingue dans ce contexte en nécessitant uniquement un ensemble de simulations pour entraîner des modèles génératifs profonds capables d'approcher la distribution postérieure qui relie les paramètres d'entrée à une observation donnée (Cranmer et al., 2020). Un cadre particulièrement difficile pour les problèmes inverses est lorsque le modèle est fortement non identifié, c'est-à-dire lorsque des ensembles distincts de paramètres produisent des observations identiques. Cela se produit souvent, par exemple, lors de l'inférence de la distance et de la puissance d'une source radio ou de l'estimation du gain de l'amplificateur et de l'activité cérébrale. Dans ce projet, nous examinerons comment la modélisation bayésienne hiérarchique (HBM) peut atténuer les problèmes d'estimation mal posés dans le contexte de l'inférence basée sur la simulation. L'idée principale est de développer des outils exploitant la structure hiérarchique des modèles complexes, où certains paramètres sont partagés entre différentes observations (paramètres globaux) et d'autres sont spécifiques à chaque observation (paramètres locaux). Exploiter une telle structure hiérarchique et extraire des informations de multiples observations disponibles devrait aboutir à des distributions postérieures plus précises et à des estimations plus fiables des paramètres (globaux et locaux). Des exemples d'applications des modèles hiérarchiques sont les modèles de sujets, les algorithmes de factorisation matricielle et la génétique des populations. Nous traiterons les trois problèmes ouverts suivants liés aux HBM en SBI : 1. Nous visons à comprendre comment sélectionner les meilleures observations pour contracter rapidement la distribution postérieure. Cela implique de générer des observations supplémentaires informatives à partir du modèle. Répondre à cette question nécessite de définir et de détecter des observations plus informatives, un concept lié au design expérimental bayésien, également exploré par l'équipe Statify (Iollo et al., 2023). Les travaux de Pant (2015) et de Rodrigues et al. (2021) sont également pertinents dans ce domaine. 2. Nous souhaitons également comprendre les propriétés des HBM qui peuvent leur permettre de se contracter plus ou moins rapidement en fonction des caractéristiques des observations. Les concepts liés à cette question sont courants dans la littérature bayésienne non-paramétrique (Ghosal et Van der Vaart, 2017) et J. Arbel est un spécialiste du sujet. 3. Enfin, un problème ouvert important est de savoir comment combiner les informations de plusieurs observations pour obtenir un approximant postérieur de manière modulaire et flexible. La solution actuelle de Rodrigues et al. (2021) ne fonctionne que pour un nombre prédéterminé et fixe d'observations auxiliaires. Nous avons l'intention d'explorer la ligne actuelle de travaux sur la modélisation générative compositionnelle (Du et al., 2023, Geffner et al., 2023) pour comprendre comment flexibiliser cette méthodologie.

Inferring the parameters of a stochastic model based on experimental observations is central to the scientific method. In this thesis project, we consider a Bayesian approach in which the solution of such an inverse problem is given in terms of a posterior distribution, i.e. a probability density function attaining larger values in regions of the parameter space that are more likely to have generated a given observation of interest. Obtaining samples of the posterior distribution can, however, be very challenging when the outputs of the model are obtained through complex simulations (e.g. solutions of nonlinear differential equations). Indeed, in these cases the likelihood of the model is often impossible to evaluate and classical Markov chain Monte Carlo (MCMC) procedures cannot be used. Simulation-based inference (SBI) stands out in this context by only requiring a dataset of simulations to train deep generative models capable of approximating the posterior distribution that relates input parameters to a given observation (Cranmer et al., 2020). A particularly difficult setting for inverse problems is when the model under study is strongly non-identified, i.e. when distinct sets of parameters yield identical observations (Rodrigues et al. 2021). This arises in many practical situations, such as when inferring the distance and power of a radio source (is the source close and weak or far and strong?) or when estimating the amplifier gain and underlying brain activity of an electrophysiological experiment. In this project, we intend to investigate how hierarchical Bayesian modeling (HBM, Gelman and Hill, 2007) can be used to alleviate the ill-posedness of estimation problems for such models in the context of simulation-based inference. The main idea is to develop tools enabling us to exploit hierarchical structure between parameters of complex models in which some parameters can be considered as shared among different observations (i.e. global parameters) and others are particular to each observation of interest (i.e. local parameters) (Rodrigues et al. 2021). Leveraging such hierarchical structure and extracting information from multiple available observations is expected to result in sharper posteriors and more reliable estimates of the (global and local) parameters. Examples of applications of hierarchical models are topic models, matrix factorization algorithms, and population genetics. We intend to tackle three open problems related to HBMs in the context of simulation-based inference : 1. We aim at understanding how to select the best observations to contract the posterior distribution quickly. This involves generating informative extra observations from the model. Answering this requires defining and detecting more informative observations, a concept tied to Bayesian experimental design, also explored by the Statify team (Iollo et al., 2023). The works of Pant (2015) and Rodrigues et al. (2021) are also relevant to this area. 2. We would also like to understand the properties of HBMs that may allow them to contract faster or slower depending on the features of the observations that arise. Concepts related to this question are common in the literature on Bayesian Nonparametrics (Ghosal and Van der Vaart, 2017) and J. Arbel, one of the Ph.D. advisors, is a specialist on the topic. 3. Finally, an important open problem is how to combine the information from several observations to obtain a posterior approximator in a modular and flexible manner. The current solution from (Rodrigues et al. 2021) works only for a predetermined fixed number of auxiliary observations. We intend to explore the current line of works on compositional generative modeling (Du et al. 2023, Geffner et al. 2023) to understand how to flexibilize such methodology.