Méthodes Monte Carlo pour l'apprentissage automatique : contributions pratiques et théoriques pour l'échantillonnage préferentiel et les méthodes séquentielles

Monte Carlo Methods for Machine Learning : Practical and Theoretical Contributions for Importance Sampling and Sequential Methods

• Auteur / Autrice : Yazid Janati el idrissi
• Direction : Sylvain Le Corff, Yohan Petetin
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 28/09/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : Télécom SudParis (Evry ; 2012-....) - Institut Polytechnique de Paris / IP Paris - Communications, Images et Traitement de l'Information / CITI - Information, Signal et Technologies des Communications / ISTeC-SAMOVAR
• Partenaire(s) de recherche : Établissement d'opérateur d'inscription : Télécom SudParis (Evry ; 2012-....)
• Jury : Président / Présidente : Jean-Marc Bardet
• Jury : Examinateurs / Examinatrices : Jean-Michel Marin, Anthony Lee, Marylou Gabrié
• Jury : Rapporteurs / Rapporteuses : Jean-Michel Marin, Anthony Lee

Mots clés

Mots clés contrôlés

Monte-Carlo, Méthode de

Apprentissage automatique

Mathématiques

Mots clés libres

Méthodes Monte Carlo

Echantillonnage préferentiel

Monte Carlo séquentiel

Apprentissage profond

Monte Carlo methods

Importance Sampling

Sequential Monte Carlo

Deep learning

Résumé

Cette thèse contribue au vaste domaine des méthodes de Monte Carlo avec de nouveaux algorithmes visant à traiter l'inférence en grande dimension et la quantification de l'incertitude. Dans une première partie, nous développons deux nouvelles méthodes pour l'échantillonnage d'importance. Le premier algorithme est une nouvelle loi de proposition, basée sur sur des étapes d'optimisation et de coût de calcul faible, pour le calcul des constantes de normalisation. L'algorithme résultant est ensuite étendu en un nouvel algorithme MCMC. Le deuxième algorithme est un nouveau schéma pour l'apprentissage de propositions d'importance adaptées aux cibles complexes et multimodales. Dans une deuxième partie, nous nous concentrons sur les méthodes de Monte Carlo séquentielles. Nous développons de nouveaux estimateurs de la variance asymptotique du filtre à particules et fournissons le premier estimateur de la variance asymptotique d'un lisseur à particules. Ensuite, nous proposons une procédure d'apprentissage des paramètres dans les modèles de Markov cachés en utilisant un lisseur à particules dont le biais est réduit par rapport aux méthodes existantes. Enfin, nous concevons un algorithme de Monte Carlo séquentiel pour résoudre des problèmes inverses linéaires bayésiens avec des lois a priori obtenues par modèles génératifs.

This thesis contributes to the vast domain of Monte Carlo methods with novel algorithms that aim at adressing high dimensional inference and uncertainty quantification. In a first part, we develop two novel methods for Importance Sampling. The first algorithm is a lightweight optimization based proposal for computing normalizing constants and which extends into a novel MCMC algorithm. The second one is a new scheme for learning sharp importance proposals. In a second part, we focus on Sequential Monte Carlo methods. We develop new estimators for the asymptotic variance of the particle filter and provide the first estimator of the asymptotic variance of a particle smoother. Next, we derive a procedure for parameter learning within hidden Markov models using a particle smoother with provably reduced bias. Finally, we devise a Sequential Monte Carlo algorithm for solving Bayesian linear inverse problems with generative model priors.