Nouvelles Méthodes Variationnelles pour l'inférence et l'apprentissage

Novel Variational Approaches to Inference and Learning

• Auteur / Autrice : Achille Thin
• Direction : Éric Moulines, Arnaud Doucet
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 10/06/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : École polytechnique (Palaiseau, Essonne ; 1795-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques appliquées (Palaiseau, Essonne)
• Jury : Président / Présidente : Gersende Fort
• Jury : Examinateurs / Examinatrices : Éric Moulines, Arnaud Doucet, Stéphane Mallat, Matthieu Jonckheere, Marylou Gabrié
• Jury : Rapporteurs / Rapporteuses : Stéphane Mallat, Matthieu Jonckheere

Mots clés

Mots clés contrôlés

Monte-Carlo, Méthode de

Markov, Processus de

Statistique mathématique

Apprentissage automatique

Mots clés libres

Variationnel

Inférence

Apprentissage

Chaînes de Markov

Monte Carlo

Variational

Inference

Learning

Markov chain

Monte Carlo

Résumé

Cette thèse porte sur le problème de l'inférence en grande dimension.Nous proposons différentes méthodes pour l'estimation de constantes de normalisation et l'échantillonnage de distributions complexes.Dans une première partie, nous développons plusieurs méthodes de Monte Carlo par chaînes de Markov.D'une part, nous développons une nouvelle approche pour des noyaux non-réversibles. D'autre part, nous proposons deux méthodes massivement parallélisables combinant des propriétés locales et globales des méthodes de Monte Carlo par chaînes de Markov, en particulier en se basant sur un nouvel estimateur de constante de normalisation.Nous appliquons ces méthodes à une tâche d'inférence approchée de distribution emph{a posteriori} de réseaux de neurones bayésiens profonds, dans un cas où l'espace d'état est à très haute dimension.Dans une deuxième partie, nous proposons deux modèles génératifs, basés sur une nouvelle forme de flots normalisants combinés à des chaînes de Markov, ou à de nouvelles méthodes d'inférence variationnelle, en construisant en particulier un nouvel auto encodeur variationnel.Ces méthodes permettent en particulier de combiner inférence variationnelle et Monte Carlo par chaînes de Markov.

This thesis addresses the problem of high dimensional inference.We propose different methods for estimating normalizing constants and sampling complex distributions.In a first part, we develop several Markov chain Monte Carlo methods.On the one hand, we develop a new approach for non-reversible kernels. On the other hand, we propose two massively parallelizable methods combining local and global properties of Markov chain Monte Carlo methods, in particular based on a new normalization constant estimator.We apply these methods to the approximate inference of the posterior distribution of deep Bayesian neural networks, in a case where the state space is very high dimensional.In a second part, we propose two generative models, based on a new form of normalising flows combined with Markov chains, or new variational inference methods, by building in particular a new variational autoencoder.These methods allow in particular to combine variational inference and Monte Carlo by Markov chains.