Inférence par des approches variationnelles et/ou antagonistes dans des modèles à variables latentes

Variational and/or antagonist inference for latent variable models.

• Auteur / Autrice : François Bertholom
• Direction : Randal Douc, François Roueff
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Télécom SudParis (Evry ; 2012-....)
• Partenaire(s) de recherche : Equipe de recherche : TIPIC

Mots clés

Mots clés libres

Données massives

Modèles à variables latentes

Inférence variationnelle

Estimation bayésienne

Réseaux génératifs antagonistes

Bayesian estimation

Massive data

Variational inference

Generative antagonist network

Latent variable models

Résumé

Un des enjeux majeurs de la statistique bayésienne en présence de données massives consiste à approcher efficacement des densités cibles, pouvant potentiellement impliquer un grand nombre de variables aléatoires sur des espaces de grandes dimensions. Dans ce projet de recherche, nous proposons de nous placer dans le cadre des méthodes d'Inférence Variationnelle (VI) et des réseaux génératifs antagonistes (GAN), méthodes issues de la communauté 'Machine Learning' dont le principe consiste pour les VIs, à approcher ces densités à travers diverses techniques d'optimisation selon une divergence donnée et pour les GANs, à produire des variables aléatoires imitant des variables cibles, ces variables ayant été simulées après avoir mis en compétition des classes de générateurs et discriminateurs. Bien que ces techniques soient extrêmement puissantes et populaires dans la pratique, certaines propriétés statistiques de ces méthodes restent encore largement méconnues. Nous nous intéresserons dans ce contexte à établir des fondements théoriques solides à certains algorithmes variationnels et/ou antagonistes dans des modèles incluant des variables latentes. Nous sommes persuadés que l'établissement de théorèmes limites et de vitesses de convergence pour ces estimateurs pourra avoir un impact conséquent pour une nombreuse communauté de praticiens et permettra de croiser les points de vue méthodologiques et théoriques pour comprendre, sélectionner et proposer des algorithmes performants.

One of the major challenges of Bayesian statistics in the presence of massive data consists in efficiently approaching target densities, which can potentially involve a large number of random variables on large-dimensional spaces. In this research project, we consider the framework of the methods of Variational Inference (VI) and antagonist generative networks (GAN). These methods have been developped in the 'Machine Learning' community. The basic idea for VIs consists in approaching a target density through various optimization techniques according to a given divergence. As for the GANs, random variables are simulated in order to mimic target variables though optimisatsion steps where a generator and a discriminator compete against each other. Although extremely powerful and popular in practice, statistical properties of these methods remain largely unknown. In this context, we will be interested in establishing solid theoretical foundations for certain variational and/or antagonistic algorithms in latent variables models. We are convinced that the establishment of limit theorems and speeds of convergence for these estimators could have a significant impact for a large community of practitioners and will make it possible to cross methodological and theoretical points of view to understand, select and propose efficient algorithms.