Uncertainty quantification on pareto fronts and high-dimensional strategies in bayesian optimization, with applications in multi-objective automotive design

par Mickaël Binois

Thèse de doctorat en Mathématiques appliquées

Sous la direction de Olivier Roustant et de David Ginsbourger.

Soutenue le 03-12-2015

à Saint-Etienne, EMSE , dans le cadre de Ed Sis 488 , en partenariat avec Université de Bern (Université) , Renault SAS (entreprise) et de Département Décision en Entreprise : Modélisation, Optimisation (laboratoire) .

Le président du jury était Anne Ruiz-Gazen.

Le jury était composé de Olivier Roustant, David Ginsbourger, Anne Ruiz-Gazen, Luc Pronzato, Neil D. Lawrence, Rodolphe Le Riche, Frédéric Mercier, Alexander I.J. Forrester.

Les rapporteurs étaient Luc Pronzato, Neil D. Lawrence.

mots clés

• Optimisation multiobjectif
• Processus gaussiens
• Plongements aléatoires
• Copules
• Quantification d’incertitude
• Apprentissage statistique
• Optimisation mathématique
• Fonctions gaussiennes
• Automobiles -- Conception et construction
• Incertitude

Titre traduit

Quantification d’incertitude sur fronts de Pareto et stratégies pour l’optimisation bayésienne en grande dimension, avec applications en conception automobile

Résumé

Cette thèse traite de l’optimisation multiobjectif de fonctions coûteuses, aboutissant à laconstruction d’un front de Pareto représentant l’ensemble des compromis optimaux. En conception automobile, le budget d’évaluations est fortement limité par les temps de simulation numérique des phénomènes physiques considérés. Dans ce contexte, il est courant d’avoir recours à des « métamodèles » (ou modèles de modèles) des simulateurs numériques, en se basant notamment sur des processus gaussiens. Ils permettent d’ajouter séquentiellement des observations en conciliant recherche locale et exploration. En complément des critères d’optimisation existants tels que des versions multiobjectifs du critère d’amélioration espérée, nous proposons d’estimer la position de l’ensemble du front de Pareto avec une quantification de l’incertitude associée, à partir de simulations conditionnelles de processus gaussiens. Une deuxième contribution reprend ce problème à partir de copules. Pour pouvoir traiter le cas d’un grand nombre de variables d’entrées, nous nous basons sur l’algorithme REMBO. Par un tirage aléatoire directionnel, défini par une matrice, il permet de trouver un optimum rapidement lorsque seules quelques variables sont réellement influentes (mais inconnues). Plusieurs améliorations sont proposées, elles comprennent un noyau de covariance dédié, une sélection du domaine de petite dimension et des directions aléatoires mais aussi l’extension au casmultiobjectif. Enfin, un cas d’application industriel en crash a permis d’obtenir des gainssignificatifs en performance et en nombre de calculs requis, ainsi que de tester le package R GPareto développé dans le cadre de cette thèse.

mots clés

• Multi-objective optimization
• Gaussian processes
• Expected Improvement
• SUR
• Vorob'ev deviation
• REMBO
• Copulas

Résumé

This dissertation deals with optimizing expensive or time-consuming black-box functionsto obtain the set of all optimal compromise solutions, i.e. the Pareto front. In automotivedesign, the evaluation budget is severely limited by numerical simulation times of the considered physical phenomena. In this context, it is common to resort to “metamodels” (models of models) of the numerical simulators, especially using Gaussian processes. They enable adding sequentially new observations while balancing local search and exploration. Complementing existing multi-objective Expected Improvement criteria, we propose to estimate the position of the whole Pareto front along with a quantification of the associated uncertainty, from conditional simulations of Gaussian processes. A second contribution addresses this problem from a different angle, using copulas to model the multi-variate cumulative distribution function. To cope with a possibly high number of variables, we adopt the REMBO algorithm. From a randomly selected direction, defined by a matrix, it allows a fast optimization when only a few number of variables are actually influential, but unknown. Several improvements are proposed, such as a dedicated covariance kernel, a selection procedure for the low dimensional domain and of the random directions, as well as an extension to the multi-objective setup. Finally, an industrial application in car crash-worthiness demonstrates significant benefits in terms of performance and number of simulations required. It has also been used to test the R package GPareto developed during this thesis.