Méthodes accélérées pour l'optimisation distribuée
Auteur / Autrice : | Hadrien Hendrikx |
Direction : | Francis Bach, Laurent Massoulié |
Type : | Thèse de doctorat |
Discipline(s) : | Informatique |
Date : | Soutenance le 20/09/2021 |
Etablissement(s) : | Université Paris sciences et lettres |
Ecole(s) doctorale(s) : | École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....) |
Partenaire(s) de recherche : | Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique |
établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....) | |
Equipe de recherche : Statistical machine learning and parsimony (Paris) - Équipe de recherche Dynamics of geometric networks (Paris) | |
Jury : | Président / Présidente : Antonin Chambolle |
Examinateurs / Examinatrices : Francis Bach, Antonin Chambolle, Julien M. Hendrickx, Martin Takáč, Devavrat Shah | |
Rapporteurs / Rapporteuses : Julien M. Hendrickx, Martin Takáč |
Mots clés
Mots clés contrôlés
Résumé
Les modèles d'apprentissage modernes ont généralement besoin de volumes de données conséquents afin de réaliser de bonnes prédictions, et sont donc généralement entraînés de manière distribuée, c'est-à-dire en utilisant de nombreuses unités de calculs. Cette architecture distribuée peut venir de la taille des données, leur sensibilité, ou simplement pour entraîner les modèles plus rapidement. Cependant, les modèles d'apprentissage sont souvent entraînés en utilisant des méthodes d'optimisation stochastiques intrinsèquement séquentielles, qui utilisent de nombreux gradients bruités, mais faciles à calculer. De plus, de nombreux algorithmes réutilisent de l'information passée afin d'accélérer la convergence, ce qui nécessite un haut niveau de synchronie et de partage d'information. Cette thèse présente un ensemble de résultats permettant d'étendre les avancées récentes en optimisation stochastique et accélérée dans le cadre décentralisé, c'est-à-dire sans coordination centrale, mais via un ensemble de communications pair à pair.