Contributions à l'Analyse de Convergence d'Algorithmes d'Optimisation Bruitée

Contributions to Convergence Analysis of Noisy Optimization Algorithms

• Auteur / Autrice : Sandra Astete morales
• Direction : Olivier Teytaud, Marc Schoenauer
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/10/2016
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris-Sud (1970-2019)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de recherche en informatique (Orsay, Essonne ; 1998-2020)
• Jury : Président / Présidente : Benjamin Doerr
• Jury : Examinateurs / Examinatrices : Olivier Teytaud, Marc Schoenauer, Benjamin Doerr, Adam Prugel-Bennett, Timo Kötzing, Lehre Per Kristian, Coralia Cartis, Jonathan Shapiro
• Jury : Rapporteurs / Rapporteuses : Adam Prugel-Bennett, Timo Kötzing

Mots clés

Mots clés contrôlés

Optimisation mathématique

Algorithmes évolutionnaires

Approximation stochastique

Algorithmes d'approximation

Mots clés libres

Optimisation

Optimisation Bruitée

Analyse d'algorithme

Convergence des algorithmes d'optimisation

Optimization

Noisy Optimization

Algorithm Analysis

Convergence of Optimization Algorithms

Résumé

Cette thèse montre des contributions à l'analyse d'algorithmes pour l'optimisation de fonctions bruitées. Les taux de convergences (regret simple et regret cumulatif) sont analysés pour les algorithmes de recherche linéaire ainsi que pour les algorithmes de recherche aléatoires. Nous prouvons que les algorithmes basé sur la matrice hessienne peuvent atteindre le même résultat que certaines algorithmes optimaux, lorsque les paramètres sont bien choisis. De plus, nous analysons l'ordre de convergence des stratégies évolutionnistes pour des fonctions bruitées. Nous déduisons une convergence log-log. Nous prouvons aussi une borne basse pour le taux de convergence de stratégies évolutionnistes. Nous étendons le travail effectué sur les mécanismes de réévaluations en les appliquant au cas discret. Finalement, nous analysons la mesure de performance en elle-même et prouvons que l'utilisation d'une mauvaise mesure de performance peut mener à des résultats trompeurs lorsque différentes méthodes d'optimisation sont évaluées.

This thesis exposes contributions to the analysis of algorithms for noisy functions. It exposes convergence rates for linesearch algorithms as well as for random search algorithms. We prove in terms of Simple Regret and Cumulative Regret that a Hessian based algorithm can reach the same results as some optimal algorithms in the literature, when parameters are tuned correctly. On the other hand we analyse the convergence order of Evolution Strategies when solving noisy functions. We deduce log-log convergence. We also give a lower bound for the convergence rate of the Evolution Strategies. We extend the work on revaluation by applying it to a discrete settings. Finally we analyse the performance measure itself and prove that the use of an erroneus performance measure can lead to misleading results on the evaluation of different methods.