Optimisation proximale avec réduction automatique de dimension

Proximal optimization with automatic dimension reduction for large-scale learning

• Auteur / Autrice : Dmitry Grishchenko
• Direction : Jérôme Malick, Massih-Reza Amini, Franck Iutzeler
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 03/11/2020
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble)
• Jury : Président / Présidente : Pascal Bianchi
• Jury : Examinateurs / Examinatrices : Julien Mairal, Alexander Gasnikov, Samuel Vaiter
• Jury : Rapporteur / Rapporteuse : Pascal Bianchi, Peter Richtarik

Mots clés

Mots clés contrôlés

Algorithmes parallèles

Mots clés libres

Optimisation proximale

Algorithmes distribués

Identification

Distributed algorithms

Proximal optimization

Identification

Résumé

Dans cette thèse, nous proposons des algorithmes proximaux, avec réduction de dimension automatique, pour des problèmes d’optimisation avec solutions parcimonieuses. Dans un premier temps, nous proposons une méthode générale de réduction de dimension, exploitant la propriété d’identification proximale, par des projections adaptées à la structure de l’itéré courant. Dans le cas parcimonieux, cet algorithme permet de travailler dans des sous-espaces aléatoires de petites dimensions plutôt que dans l’espace entier, possiblement de très grande dimension. Dans un deuxième temps, nous nous plaçons dans un cadre d’optimisation distribuée asynchrone et utilisons la méthode précédente pour réduire la taille des communications entre machines. Nous montrons tout d’abord, que l’application directe de notre méthode de réduction dimension dans ce cadre fonctionne si le problème est bien conditionné. Pour attaquer les problèmes généraux, nous proposons ensuite un reconditionnement proximal donnant ainsi un algorithme avec garanties théorétiques de convergence et de réduction de communications. Des experiences numériques montrent un gain important pour des problèmes classiques fortement parcimonieux.

In this thesis, we develop a framework to reduce the dimensionality of composite optimization problems with sparsity inducing regularizers. Based on the identification property of proximal methods, we first develop a ``sketch-and-project'' method that uses projections based on the structure of the correct point. This method allows to work with random low-dimensional subspaces instead of considering the full space in the cases when the final solution is sparse. Second, we place ourselves in the context of the delay-tolerant asynchronous proximal methods and use our dimension reduction technique to decrease the total size of communications. However, this technique is proven to converge only for well-conditioned problems both in theory in practice.Thus, we investigate wrapping it up into a proximal reconditioning framework. This leads to a theoretically backed algorithm that is guaranteed to cost less in terms of communications compared with a non-sparsified version; we show in practice that it implies faster runtime convergence when the sparsity of the problem is sufficiently big.