Accelerating conditional gradient methods
Accélération de méthodes de gradient conditionnel
Résumé
The Frank-Wolfe algorithms, a.k.a. conditional gradient algorithms, solve constrained optimization problems. They break down a non-linear problem into a series of linear minimization on the constraint set. This contributes to their recent revival in many applied domains, in particular those involving large-scale optimization problems. In this dissertation, we design or analyze versions of the Frank-Wolfe algorithms. We notably show that, contrary to other types of algorithms, this family is adaptive to a broad spectrum of structural assumptions, without the need to know and specify the parameters controlling these hypotheses.
Les algorithmes de Frank-Wolfe sont des méthodes d’optimisation de problèmes sous contraintes. Elles décomposent un problème non-linéaire en une série de problèmes linéaires. Cela en fait des méthodes de choix pour l’optimisation en grande dimension et notamment explique leur utilisation dans de nombreux domaines appliqués. Ici nous proposons de nouveaux algorithmes de Frank-Wolfe qui convergent plus rapidement vers la solution du problème d’optimisation sous certaines hypothèses structurelles assez génériques. Nous montrons en particulier, que contrairement à d’autres types d’algorithmes, cette famille s’adapte à ces hypothèses sans avoir à spécifier les paramètres qui les contrôlent.
Origine : Version validée par le jury (STAR)