Algorithmes MCMC distribués asynchrones pour l'inférence Bayésienne en grande dimension

Asynchronous MCMC algorithms for bayesian inference in high dimension

• Auteur / Autrice : Maxime Bouton
• Direction : Pierre Chainais
• Type : Projet de thèse
• Discipline(s) : Traitement du signal et des images
• Date : Inscription en doctorat le 24/10/2022
• Etablissement(s) : Centrale Lille Institut
• Ecole(s) doctorale(s) : MADIS Mathématiques, sciences du numérique et de leurs interactions
• Partenaire(s) de recherche : Laboratoire : CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille
• Partenaire(s) de recherche : Equipe de recherche : CRIStAL-INRIA

Mots clés

Mots clés libres

Inférence Bayésienne

Algorithmes MCMC

Algorithmes asynchrones

Bayesian inference

MCMC algorithms

Asynchronous algorithms

Résumé

Ce projet vise à accélérer les algorithmes de MCMC pour de l'inférence bayésienne rapide concernant des problèmes à grande échelle. Des applications en astronomie (comme l'imagerie hyperspectrale) ou en télédétection (comme la séparation multimodale et multi-temporelle des sources) peuvent être envisagées. Le projet fait partie de la Chaire ANR IA SHERLOCK dirigée par Pierre Chainais (cofinancée par l'ANR, l'ISITE, Centrale Lille Institut et la Région Haut-de-France). De nombreuses applications de traitement du signal et des images, allant de l'astronomie (Abdulaziz et al. 2019 ; Cai et al. 2018) à la télédétection (Borsoi et al. 2021 ; Ghamisi et al. 2019), impliquent de grandes bases de données. En l'absence de vérité terrain, l'inférence rapide des paramètres sous incertitude contrôlée est absolument nécessaire pour garantir la qualité des prédictions résultantes. Les algorithmes d'optimisation asynchrones (parallèles ou distribués) ont récemment regagné de l'intérêt en raison de leur potentiel d'accélération, par rapport à leurs homologues synchrones (Hannah et al. 2017). Cependant, les algorithmes d'optimisation n'apportent qu'une estimation ponctuelle, comme l'estimateur du maximum a posteriori (MAP). Les méthodes de Monte Carlo à chaîne de Markov (MCMC) apportent une information plus riche en échantillonnant la distribution postérieure du modèle. Les méthodes MCMC sont connues pour induire des coûts de calcul plus importants par rapport aux algorithmes d'optimisation. Néanmoins, des travaux récents à l'interface entre l'optimisation déterministe et stochastique ont introduit des échantillonneurs efficaces pour traiter des bases de données plus importantes (Durmus et al. 2018 ; Vono et al. 2020). À l'exception de (Simsekli et al. 2018 ; Terenin et al. 2020), les algorithmes de MCMC asynchrones restent largement à étudier. Ce projet de thèse vise à étudier le potentiel des algorithmes de MCMC asynchrones pour de l'inférence bayésienne rapide dans des problèmes à grandes dimensions.

This project is aimed at accelerating MCMC algorithms for fast Bayesian inference in large scale problems. Applications in astronomy (e.g., hyperspectral imaging) or in remote sensing (e.g., multimodal multi-temporal source separation) could be considered. The project is part of the ANR Chaire IA SHERLOCK led by Pierre Chainais (co-funded by ANR, ISITE, Centrale Lille Institut and Région Haut-de-France). Many signal and image processing applications, ranging from astronomy (Abdulaziz et al. 2019; Cai et al. 2018) to remote sensing (Borsoi et al. 2021; Ghamisi et al. 2019), involve large datasets. In absence of ground truth, fast parameter inference under controlled uncertainty is critical to guarantee the quality of the resulting predictions. Asynchronous (parallel or distributed) optimization algorithms have recently regained interest due to their potential of acceleration, in comparison with their synchronous counterparts (Hannah et al. 2017). However, optimization algorithms only bring a point estimate, such as the maximum a posteriori (MAP) estimator. Markov-chain Monte Carlo (MCMC) methods bring a richer information by sampling the posterior distribution of the model. MCMC methods are known to induce larger computational costs compared to optimization algorithms. Nevertheless, recent works at the interface between deterministic and stochastic optimization have introduced efficient samplers to address larger datasets (Durmus et al. 2018; Vono et al. 2020). With the exception of (Simsekli et al. 2018; Terenin et al. 2020), asynchronous MCMC algorithms largely remain to be investigated. This PhD project is aimed at studying the potential of asynchronous MCMC algorithms for fast Bayesian inference in high dimensional problems.