Algorithmes efficaces avec vitesses de convergence rapides pour l’apprentissage séquentiel

Efficient algorithms with fast rates for online learning

• Auteur / Autrice : Rémi Jezequel
• Direction : Francis Bach
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 18/04/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : DIENS - Département d'informatique de l'École normale supérieure
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Olivier Cappé
• Jury : Examinateurs / Examinatrices : Francis Bach, Tim Van erven, Aurélien Garivier, Michal Valko, Pierre Gaillard, Alessandro Rudi, Antoine Chambaz
• Jury : Rapporteurs / Rapporteuses : Tim Van erven, Aurélien Garivier

Mots clés

Mots clés libres

Apprentissage

Séquentiel

Efficace

Learning

Online

Efficient

Résumé

Nous nous intéressons à la conception d'algorithmes d'apprentissage dans un cadre séquentiel. À chaque instant, l'agent doit faire une prédiction à partir des informations à sa disposition et améliorer sa stratégie après avoir observé le résultat attendu. Pour analyser ces algorithmes, nous nous plaçons dans le cadre de l'apprentissage séquentiel, donc la spécificité est de ne faire aucune hypothèse sur la manière dont sont générées les données. La perte cumulée de l'algorithme est comparée à celle du meilleur estimateur dans une classe de fonction pré-définie. L'analyse doit apporter des garanties sur la différence de performance, aussi appelée regret, quelle que soit la suite d'observations. Dans ce cadre, nous avons étudié trois applications particulières : la régression des moindres carrés, la régression logistique et la sélection de portefeuille. L'attention a été portée sur la conception de nouveaux algorithmes efficaces maintenant des performances statistiques proches de l'optimal. Dans chaque cas, des vitesses de convergences rapides sont atteignables mais des problèmes spécifiques émergent lorsque l'on cherche à améliorer la complexité de calcul. Les algorithmes résultant de ces travaux ont été implémentés et testés sur des jeux de données pour montrer leur intérêt pratique.

We are interested in the design of learning algorithms in a sequential setting. At each instant, the agent have to make a prediction from the information at its disposal and improve its strategy after observing the expected result. To analyze these algorithms, we place ourselves in the framework of online learning, so the specificity is to make no assumptions about the way in which the data are generated. The cumulative loss of the algorithm is compared to that of the best estimator in a class of pre-defined function. The analysis must provide guarantees on the difference in performance, also called regret, whatever the sequence of observations. In this context, we have studied three particular applications: least squares regression, logistic regression and portfolio selection. Attention has been paid to the design of new efficient algorithms maintaining near-optimal statistical performance. In each case, fast convergence rates are achievable but specific problems emerge when one seeks to improve the computational complexity. The algorithms resulting from these works have been implemented and tested on datasets to show their practical interest.