Nouvel algorithme d'optimisation bayésien utilisant une approche Monte-Carlo séquentielle.

par Romain Benassi

Thèse de doctorat en Traitement du Signal (STIC)

Sous la direction de Emmanuel Vazquez.

Soutenue le 19-06-2013

à Supélec , dans le cadre de Ecole doctorale Sciences et Technologies de l'Information, des Télécommunications et des Systèmes (Orsay, Essonne ; 2000-2015) , en partenariat avec Supélec Sciences des Systèmes - EA4454 / E3S (laboratoire) .

Le président du jury était Éric Walter.

Le jury était composé de Gilles Duc, Rodolphe Le Riche.

Les rapporteurs étaient Olivier Cappé, Luc Pronzato.


  • Résumé

    Ce travail de thèse s'intéresse au problème de l'optimisation globale d'une fonction coûteuse dans un cadre bayésien. Nous disons qu'une fonction est coûteuse lorsque son évaluation nécessite l’utilisation de ressources importantes (simulations numériques très longues, notamment). Dans ce contexte, il est important d'utiliser des algorithmes d'optimisation utilisant un faible nombre d'évaluations de cette dernière. Nous considérons ici une approche bayésienne consistant à affecter à la fonction à optimiser un a priori sous la forme d'un processus aléatoire gaussien, ce qui permet ensuite de choisir les points d'évaluation de la fonction en maximisant un critère probabiliste indiquant, conditionnellement aux évaluations précédentes, les zones les plus intéressantes du domaine de recherche de l'optimum. Deux difficultés dans le cadre de cette approche peuvent être identifiées : le choix de la valeur des paramètres du processus gaussien et la maximisation efficace du critère. La première difficulté est généralement résolue en substituant aux paramètres l'estimateur du maximum de vraisemblance, ce qui est une méthode peu robuste à laquelle nous préférons une approche dite complètement bayésienne. La contribution de cette thèse est de présenter un nouvel algorithme d'optimisation bayésien, maximisant à chaque étape le critère dit de l'espérance de l'amélioration, et apportant une réponse conjointe aux deux difficultés énoncées à l'aide d'une approche Sequential Monte Carlo. Des résultats numériques, obtenus à partir de cas tests et d'applications industrielles, montrent que les performances de notre algorithme sont bonnes par rapport à celles d’algorithmes concurrents.

  • Titre traduit

    New Bayesian optimization algorithm using a sequential Monte-Carlo approach


  • Résumé

    This thesis deals with the problem of global optimization of expensive-to-evaluate functions in a Bayesian framework. We say that a function is expensive-to-evaluate when its evaluation requires a significant amount of resources (e.g., very long numerical simulations).In this context, it is important to use optimization algorithms that can deal with a limited number of function evaluations. We consider here a Bayesian approach which consists in assigning a prior to the function, under the form of a Gaussian random process. The idea is then to choose the next evaluation points using a probabilistic criterion that indicates, conditional on the previous evaluations, the most interesting regions of the research domain for the optimizer. Two difficulties in this approach can be identified: the choice of the Gaussian process prior and the maximization of the criterion. The first problem is usually solved by using a maximum likelihood approach, which turns out to be a poorly robust method, and to which we prefer a fully Bayesian approach. The contribution of this work is the introduction of a new Bayesian optimization algorithm, which maximizes the Expected Improvement (EI) criterion, and provides an answer to both problems thanks to a Sequential Monte Carlo approach. Numerical results on benchmark tests show good performances of our algorithm compared to those of several other methods of the literature.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : CentraleSupélec. Bibliothèque électronique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.