Contributions à une théorie de l'exploration pure en statistique séquentielle

Contributions to a Theory of Pure Exploration in Sequential Statistics

• Auteur / Autrice : Antoine Barrier
• Direction : Aurélien Garivier, Gilles Stoltz
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 20/07/2023
• Etablissement(s) : Lyon, École normale supérieure
• Ecole(s) doctorale(s) : École doctorale en Informatique et Mathématiques de Lyon (Lyon ; 2009-....)
• Partenaire(s) de recherche : Laboratoire : Unité de Mathématiques Pures et Appliquées (Lyon ; 1991-....) - Laboratoire de mathématiques d'Orsay (1998-....)
• Jury : Président / Présidente : Vianney Perchet
• Jury : Examinateurs / Examinatrices : Aurélien Garivier, Gilles Stoltz, Vianney Perchet, Odalric-Ambrym Maillard, Claire Vernade
• Jury : Rapporteurs / Rapporteuses : Odalric-Ambrym Maillard, Claire Vernade

Mots clés

Mots clés contrôlés

Intelligence artificielle

Apprentissage automatique

Mots clés libres

Problèmes de bandits

Identification de meilleur bras

Statistiques séquentielles

Apprentissage statistique

Intelligence artificielle

Multi-Armed Bandits

Best-Arm Identification

Sequential Statistics

Statistical Learning

Machine Learning

Résumé

Cette thèse, à la croisée entre les domaines de l’intelligence artificielle, de la statistique séquentielle et de l’optimisation, s’intéresse au problème d’identification du meilleur bras (en espérance) dans les bandits non structurés à K bras. Ce problème possède deux approches dont les niveaux de compréhension sont très différents. Le cadre à confiance fixée est le mieux compris : des stratégies asymptotiquement optimales sont connues, et l’on s’intéresse à l’obtention de garanties non asymptotiques pour, si possible, des stratégies simples et naturelles. Avec des bandits Gaussiens, nous proposons l’analyse à risque fini d’une nouvelle stratégie (asymptotiquement optimale) grâce aux propriétés de régularité de ce modèle. Cette stratégie modifie subtilement la règle d’attribution des tirages de l’algorithme Track-and-Stop en une règle plus prudente et interprétable. Dans le contexte plus général d’un modèle exponentiel, nous proposons l’ébauche d’une analyse de l’asymptotique optimalité d’algorithmes de type Top-Two adaptatifs, dont les règles de choix de tirages sont particulièrement simples. Par ailleurs, dans le cadre à budget fixé, où l’existence d’une hypothétique complexité reste à démontrer, nous proposons des généralisations à des modèles non-paramétriques des bornes (supérieures et inférieures) connues jusqu’à présent pour des modèles très spécifiques. Les bornes obtenues font intervenir des quantités de théorie de l’information plus précises que les écarts entre les moyennes qui apparaissaient précédemment. Ces nouvelles quantités pourraient être la clé pour mesurer la complexité de l’identification de meilleur bras à budget fixé.

This thesis lies in the fields of artificial intelligence, sequential statistics and optimization. We focus on the problem of best (in expectation) arm identification in unstructured muti-armed bandits. This problem has two approaches with very different levels of understanding. The fixed-confidence framework is the best understood: asymptotically optimal strategies are known, and we are interested in obtaining non-asymptotic guarantees for, when possible, simple and natural strategies. Working with Gaussian bandits, we propose a finite risk analysis of a new (asymptotically optimal) strategy using the regularity properties of this model. This strategy slightly modifies the sampling rule of the Track-and-Stop algorithm into a more conservative and interpretable rule. In the more general context of an exponential model, we propose a preliminary analyzis of the asymptotic optimality of adaptive Top-Two algorithms, whose sampling rules are particularly simple. Independently, in the fixed-budget framework, for which the existence of a hypothetical complexity remains to be demonstrated, we propose generalizations to non-parametric models of the existing bounds (upper and lower) that were available so far only for very specific models. The obtained bounds involve more precise information-theoretic quantities than the gaps (differences between the means) which appeared previously. These new quantities could be the key to measure the complexity of fixed-budget best-arm identification.