Analyse de pire cas des méthodes du premier ordre efficaces
Auteur / Autrice : | Mathieu Barré |
Direction : | Alexandre d' Aspremont |
Type : | Thèse de doctorat |
Discipline(s) : | Mathématiques appliquées |
Date : | Soutenance le 06/10/2021 |
Etablissement(s) : | Université Paris sciences et lettres |
Ecole(s) doctorale(s) : | École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....) |
Partenaire(s) de recherche : | Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique |
établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....) | |
Equipe de recherche : Statistical machine learning and parsimony (Paris) | |
Jury : | Président / Présidente : Francis Bach |
Examinateurs / Examinatrices : Alexandre d' Aspremont, Francis Bach, Silvia Villa, François Glineur | |
Rapporteurs / Rapporteuses : Silvia Villa, François Glineur |
Mots clés
Mots clés contrôlés
Résumé
De nombreuses applications modernes reposent sur la résolution de problèmes d’optimisations (par exemple, en biologie numérique, en mécanique, en finance), faisant des méthodes d’optimisation des outils essentiels dans de nombreux domaines scientifiques. Apporter des garanties sur le comportement de ces méthodes constitue donc un axe de recherche important. Une façon classique d’analyser un algorithme d’optimisation consiste à étudier son comportement dans le pire cas. C'est-à-dire, donner des garanties sur son comportement (par exemple sa vitesse de convergence) qui soient indépendantes de la fonction en entrée de l’algorithme et vraies pour toutes les fonctions dans une classe donnée. Cette thèse se concentre sur l’analyse en pire cas de quelques méthodes du premier ordre réputées pour leur efficacité. Nous commençons par étudier les méthodes d’accélération d’Anderson, pour lesquelles nous donnons de nouvelles bornes de pire cas qui permettent de garantir précisément et explicitement quand l’accélération a lieu. Pour obtenir ces garanties, nous fournissons des majorations sur une variation du problème d’optimisation polynomiale de Tchebychev, dont nous pensons qu’elles constituent un résultat indépendant. Ensuite, nous prolongeons l’étude des Problèmes d’Estimation de Performances (PEP), développés à l’origine pour analyser les algorithmes d’optimisation à pas fixes, à l’analyse des méthodes adaptatives. En particulier, nous illustrons ces développements à travers l’étude des comportements en pire cas de la descente de gradient avec pas de Polyak, qui utilise la norme des gradients et les valeurs prises par la fonction objectif, ainsi que d’une nouvelle version accélérée. Nous détaillons aussi cette approche sur d’autres algorithmes adaptatifs standards. Enfin, la dernière contribution de cette thèse est de développer plus avant la méthodologie PEP pour l’analyse des méthodes du premier ordre se basant sur des opérations proximales inexactes. En utilisant cette approche, nous définissons des algorithmes dont les garanties en pire cas ont été optimisées et nous fournissons des analyses de pire cas pour quelques méthodes présentes dans la littérature.