Conception de machines probabilistes dédiées aux inférences bayésiennes

Theory and hardware implementation of probabilistic machines

• Auteur / Autrice : Marvin Faix
• Direction : Emmanuel Mazer, Laurent Fesquet
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et Informatique
• Date : Soutenance le 12/12/2016
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (2007-....)
• Jury : Président / Présidente : Olivier Sentieys
• Jury : Examinateurs / Examinatrices : Werner Krauth, Philippe Galy, Eric Alix
• Jury : Rapporteur / Rapporteuse : Philippe Leray, Bruno Rouzeyre

Mots clés

Mots clés contrôlés

Statistique bayésienne

Probabilités

Mots clés libres

Probabilité

Inférence

Bayes

Calcul stochastisque

Machine probabiliste

Inference

Bayes

Stochastic computation

Probabilistic machine

Stochastic logic

Résumé

Ces travaux de recherche ont pour but de concevoir des ordinateurs baséssur une organisation du calcul mieux adaptée au raisonnement probabiliste.Notre intérêt s’est porté sur le traitement des données incertaines et lescalculs à réaliser sur celles-ci. Pour cela, nous proposons des architectures demachines se soustrayant au modèle Von Neumann, supprimant notammentl’utilisation de l’arithmétique en virgule fixe ou flottante. Les applicationscomme le traitement capteurs ou la robotique en générale sont des exemplesd’utilisation des architectures proposées.Plus spécifiquement, ces travaux décrivent deux types de machines probabilistes, radicalement différentes dans leur conception, dédiées aux problèmesd’inférences bayésiennes et utilisant le calcul stochastique. La première traiteles problèmes d’inférence de faibles dimensions et utilise le calcul stochas-tique pour réaliser les opérations nécessaires au calcul de l’inférence. Cettemachine est basée sur le concept de bus probabiliste et possède un très fortparallélisme. La deuxième machine permet de traiter les problèmes d’infé-rence en grandes dimensions. Elle implémente une méthode MCMC sous laforme d’un algorithme de Gibbs au niveau binaire. Dans ce cas, le calculstochastique est utilisé pour réaliser l’échantillonnage, bit à bit, du modèle.Une importante caractéristique de cette machine est de contourner les pro-blèmes de convergence généralement attribués au calcul stochastique. Nousprésentons en fin de manuscrit une extension de ce second type de machine :une machine générique et programmable permettant de trouver une solutionapprochée à n’importe quel problème d’inférence.

The aim of this research is to design computers best suited to do probabilistic reasoning. The focus of the research is on the processing of uncertain data and on the computation of probabilistic distribution. For this, new machine architectures are presented. The concept they are designed on is different to the one proposed by Von Neumann, without any fixed or floating point arithmetic. These architectures could replace the current processors in sensor processing and robotic fields.In this thesis, two types of probabilistic machines are presented. Their designs are radically different, but both are dedicated to Bayesian inferences and use stochastic computing. The first deals with small-dimension inference problems and uses stochastic computing to perform the necessary operations to calculate the inference. This machine is based on the concept of probabilistic bus and has a strong parallelism.The second machine can deal with intractable inference problems. It implements a particular MCMC method: the Gibbs algorithm at the binary level. In this case, stochastic computing is used for sampling the distribution of interest. An important feature of this machine is the ability to circumvent the convergence problems generally attributed to stochastic computing. Finally, an extension of this second type of machine is presented. It consists of a generic and programmable machine designed to approximate solution to any inference problem.