Convergence linéaire de stratégies d'évolution à matrices de covariances adaptatives

Linear convergence of evolution strategies with covariance matrix adaptation

• Auteur / Autrice : Armand Gissler
• Direction : Anne Auger
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 16/12/2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques appliquées de l'Ecole polytechnique (Palaiseau ; 1974-....) - Centre de Mathématiques Appliquées de l'Ecole polytechnique
• Jury : Président / Présidente : Gersende Fort
• Jury : Examinateurs / Examinatrices : Anne Auger, Sean P. Meyn, Johannes Lengler, Alain Durmus, Tobias Glasmachers, Randal Douc
• Jury : Rapporteurs / Rapporteuses : Sean P. Meyn, Johannes Lengler

Mots clés

Mots clés contrôlés

Théorie ergodique

Algorithmes évolutionnaires

Markov, Processus de

Convergence (mathématiques)

Mots clés libres

Convergence (mathématiques)

Markov Processus de

Algorithmes évolutionnaires

Théorie ergodique

Cma-Es

Linear convergence

Markov chains

Irreducibility

Ergodicity

Covariance Matrix

Résumé

En tant que méthode à l’état de l’art parmis les stratégies d’évolution, CMA-ES un algorithme d’optimisation sans dérivées avec de nombreuses applications, mais dont la convergence est restée un problème ouvert depuis plus de 20 ans. Le but de cette thèse est d’apporter des garanties théoriques de convergence de CMA-ES. Ainsi, nous prouvons que CMA-ES approche le minimum de fonctions ellipsoïdes avec une erreur géometrique, et nous vérifions la conjecture de la matrice de covariance dans CMA-ES qui estime l’inverse de la Hessienne d’une fonction convexe-quadratique.Notre démonstration s’appuie sur l’analyse de processus stochastiques et est établie en plusieurs étapes.En effet, nous définissons un processus par la normalisation des variables de CMA-ES. Cette approche aréussi à analyser des ES avec adaptation du pas : en normalisant la variable de moyenne (translaté parl’optimum) par le pas, cela forme une chaîne de Markov lorsque la fonction objective est invariante parchangement d’échelle. Sous des hypothèses supplémentaires, cette chaîne est géometriquement ergodique, ce qui permet de prouver la convergence de l’algorithme. Pour CMA-ES, nous devons inclure la matrice de covariance. Nous introduisons d’abord une fonction de normalisation R sur l’espace des matrices définies positives, et la normalisation de la moyenne par le pas et la fonction R appliquée à la matrice de covariance, nous espérons obtenir un processus stationaire. Avec une matrice de covariance normalisée et des chemins d’évolution normalisés, ce processus est une chaîne de Markov pour des fonctions objectives invariantes par changement d’échelle. La preuve de sa convergence vers une probabilité stationnaire est la clé de notre démonstration et occupera les chapitres 2 et 4.Tout d’abord, nous donnons dans le chapitre 1 une méthode pour établir l’irréductibilité, l’apériodicitéet des propriétés topologiques de chaînes de Markov homogènes, à valeurs dans des variétés et avecdes mises à jour non lisses. Ceci est la généralisation d’une analyse de modèles d’espace d’état non-linéaires qui n’incluaient que des espaces d’états euclidiens et des fonctions de mise à jour continuementdifférentiables. En s’appuyant sur des résultats de l’analyse non-lisse et de la théorie de la mesure sur desvariétés topologique, nous avons pu étendre ce travail.Ces résultats préliminaires permettent une preuve de convergence de CMA-ES qui repose sur l’analysede stabilité de chaînes de Markov sous-jacentes, puisque la normalisation de la matrice de covariancedéfinit un espace d’état qui est une variété, et car les adaptations de pas standards peuvents être non-lisses. Le chapitre 2 explique comment utiliser la méthode mentionnée ci-dessus pour prover que la chaîne normalisée est une T-chaîne irréductible et apériodique.Nous démontrons ensuite son ergodicité en utilisant une méthode de Foster-Lyapunov. Dans lechapitre 4, nous trouvons une fonction de potentiel qui satisfait une condition de dérive en-dehors d’uncompact. Puisque la chaîne est une T-chaîne, les compacts sont petits et puisqu’elle est irréductible etapériodique, une condition de dérive géométrique en-dehors d’un ensemble petit démontre l’ergodicitégéometrique. Cependant, la complexité de la chaîne (avec plusieurs variables dont une matrice decovariance normalisée) nous impose to restreindre notre preuve à des fonctions objectifs ellipsoïdales.L’étape finale de notre démonstration est donnée dans le chapitre 5. Nous utilisons un théorèmeergodique et une loi des grands nombres pour déduire la convergence linéaire de CMA-ES. De plus, nousutilisons l’invariance par transformations affines de l’algorithme pour établir que la matrice de covariancede CMA-ES apprend l’inverse de la Hessienne de fonctions convexe-quadratiques, et que le taux deconvergence est indépendant de quelle fonction ellipsoïdale est minimsée.

Standing as the state-of-the-art algorithm among the evolution strategies, CMA-ES is a derivative-freeoptimization algorithm with many applications. However, the mathematical proof of its convergenceremains an open problem for more than 20 years. The main goal of this thesis is therefore to bringtheoretical guarantees of convergence of CMA-ES. More precisely, we prove that CMA-ES approachesthe minimum of an ellipsoidal function at a geometric rate. Furthermore, we confirm the conjecture thatthe covariance matrix in CMA-ES approximates the inverse Hessian of a convex-quadratic function.Our proof relies on the analysis of stochastic processes and is decomposed in several steps. Indeed,we define a stochastic process by normalizing the state variables of CMA-ES. This is inspired fromprevious works analyzing step-size adaptive ES: the normalization of the mean variable (translated bythe optimum) by the step-size yields to the definition of a Markov chain, assuming that the objectivefunction is scaling-invariant. Under additional assumptions the chain is geometrically ergodic and by limittheorems we find that the algorithm converges. For CMA-ES, we have to include the covariance matrixto obtain a Markov chain. First we define a normalization function R on the space of positive definitematrices, and by normalizing the mean by the stepsize and the function R applied to the covariancematrix, we aim to find a stationary process. With a normalized covariance matrix and possibly normalizedevolution paths, this process forms a time-homogeneous Markov chain when the objective functionis scaling-invariant. Proving that this normalized Markov chain converges to a stationary probabilitydistribution is the key to our proof of convergence of CMA-ES and will occupy Chapters 2 and 4.However first in Chapter 1, we give a methodology to establish the irreducibility, aperiodicityand topological properties of time-homogeneous Markov chains valued in manifolds and possibly withnonsmooth updates. These tools are the generalization of a previously developed analysis of nonlinearstate-space models, but which only includes Euclidean state spaces and continuously differentiable updatefunctions. By using results from the nonsmooth analysis and the theory of measures on topologicalmanifolds, we were able to extend this work.These preliminary results unlock a convergence proof of CMA-ES based on the stability analysis of underlying Markov chains, since the normalization of the covariance matrix transforms the state space ofthe algorithm into a manifold, and standard step-size adaptations include nonsmooth updates. Chapter 2explains how to use the fore-mentioned methodology and prove that the normalized Markov chain is anirreducible and aperiodic T-chain.We then prove its ergodicity by means of a Foster-Lyapunov method. In Chapter 4 we derive apotential function for which a state-dependent drift condition holds outside of a compact. Since the chain is a T-chain, compact sets are small, and since it is irreducible and aperiodic, a geometric driftcondition outside of a small set proves the geometric ergodicity of the chain. Yet the complexity of thechain (several state variables including a normalized covariance matrix) imposes us to restrict our proofto ellipsoidal objective functions.The final step of our convergence proof is shown in Chapter 5. We use an ergodic theorem and a Lawof Large Numbers to deduce the linear convergence of CMA-ES. Moreover, we use the affine-invarianceof the algorithm to find that the covariance matrix in CMA-ES learns second-order information and thatthe convergence rate is independent of which ellipsoidal objective function is minimized.