Échantillonnage gaussien en grande dimension basé sur le principe du matrix splitting. : application à l’inversion bayésienne

Efficient high-dimension gaussian sampling based on matrix splitting : application to bayesian Inversion

• Auteur / Autrice : Andrei-Cristian Bărbos
• Direction : Jean-François Giovannelli, François Caron
• Type : Thèse de doctorat
• Discipline(s) : Automatique, productique, signal et image, ingénierie cognitique
• Date : Soutenance le 10/01/2018
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'intégration du matériau au système (Talence, Gironde)
• Jury : Président / Présidente : Christian Heinrich
• Jury : Examinateurs / Examinatrices : Jean-François Giovannelli, François Caron, Christian Heinrich, Jean-Yves Tourneret, Saïd Moussaoui
• Jury : Rapporteurs / Rapporteuses : Jean-Yves Tourneret, Saïd Moussaoui

Mots clés

Mots clés contrôlés

Vision par ordinateur

Traitement d'images

Algorithme de Gibbs

Problèmes inverses

Statistique bayésienne

Markov, Processus de

Monte-Carlo, Méthode de

Gauss, Loi de (statistique)

Échantillonnage (statistique)

Mots clés libres

Échantillonnage

Distribution gaussienne

Monte-Carlo par chaînes de Markov,

Grande dimension

Inférence bayésienne

Problèmes inverses

Sampling

Gaussian distribution

Markov Chain Monte Carlo

High dimensional

Bayesian inference

Inverse problems

Résumé

La thèse traite du problème de l’échantillonnage gaussien en grande dimension.Un tel problème se pose par exemple dans les problèmes inverses bayésiens en imagerie où le nombre de variables atteint facilement un ordre de grandeur de 106_109.La complexité du problème d’échantillonnage est intrinsèquement liée à la structure de la matrice de covariance. Pour résoudre ce problème différentes solutions ont déjà été proposées,parmi lesquelles nous soulignons l’algorithme de Hogwild qui exécute des mises à jour de Gibbs locales en parallèle avec une synchronisation globale périodique.Notre algorithme utilise la connexion entre une classe d’échantillonneurs itératifs et les solveurs itératifs pour les systèmes linéaires. Il ne cible pas la distribution gaussienne requise, mais cible une distribution approximative. Cependant, nous sommes en mesure de contrôler la disparité entre la distribution approximative est la distribution requise au moyen d’un seul paramètre de réglage.Nous comparons d’abord notre algorithme avec les algorithmes de Gibbs et Hogwild sur des problèmes de taille modérée pour différentes distributions cibles. Notre algorithme parvient à surpasser les algorithmes de Gibbs et Hogwild dans la plupart des cas. Notons que les performances de notre algorithme dépendent d’un paramètre de réglage.Nous comparons ensuite notre algorithme avec l’algorithme de Hogwild sur une application réelle en grande dimension, à savoir la déconvolution-interpolation d’image.L’algorithme proposé permet d’obtenir de bons résultats, alors que l’algorithme de Hogwild ne converge pas. Notons que pour des petites valeurs du paramètre de réglage, notre algorithme ne converge pas non plus. Néanmoins, une valeur convenablement choisie pour ce paramètre permet à notre échantillonneur de converger et d’obtenir de bons résultats.

The thesis deals with the problem of high-dimensional Gaussian sampling.Such a problem arises for example in Bayesian inverse problems in imaging where the number of variables easily reaches an order of 106_109. The complexity of the sampling problem is inherently linked to the structure of the covariance matrix. Different solutions to tackle this problem have already been proposed among which we emphasizethe Hogwild algorithm which runs local Gibbs sampling updates in parallel with periodic global synchronisation.Our algorithm makes use of the connection between a class of iterative samplers and iterative solvers for systems of linear equations. It does not target the required Gaussian distribution, instead it targets an approximate distribution. However, we are able to control how far off the approximate distribution is with respect to the required one by means of asingle tuning parameter.We first compare the proposed sampling algorithm with the Gibbs and Hogwild algorithms on moderately sized problems for different target distributions. Our algorithm manages to out perform the Gibbs and Hogwild algorithms in most of the cases. Let us note that the performances of our algorithm are dependent on the tuning parameter.We then compare the proposed algorithm with the Hogwild algorithm on a large scalereal application, namely image deconvolution-interpolation. The proposed algorithm enables us to obtain good results, whereas the Hogwild algorithm fails to converge. Let us note that for small values of the tuning parameter our algorithm fails to converge as well.Not with standing, a suitably chosen value for the tuning parameter enables our proposed sampler to converge and to deliver good results.