(Semi-)Bandits Linéaires en Grandes Dimensions, Algorithmes Efficaces et Optimalité

High-Dimensional Linear (Semi-)Bandits, Efficient Algorithms and Optimality

• Auteur / Autrice : Raymond Zhang
• Direction : Sheng Yang, Richard Combes
• Type : Thèse de doctorat
• Discipline(s) : Informatique mathématique
• Date : Soutenance le 12/12/2025
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des signaux et systèmes (Gif-sur-Yvette, Essonne ; 1974-....)
• Partenaire(s) de recherche : Référent : CentraleSupélec (2015-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Michèle Wigger
• Jury : Examinateurs / Examinatrices : Émilie Kaufmann, Vianney Perchet, Alan Kevin Jamieson
• Jury : Rapporteurs / Rapporteuses : Émilie Kaufmann, Vianney Perchet
• DOI : 10.70675/ff75bb4azebe8z4ce5z84aaz072ff7aa4d3d

Mots clés

Mots clés contrôlés

Problème du bandit manchot

Statistique bayésienne

Systèmes de grandes dimensions

Mots clés libres

Bandit

Bayésien

Grandes dimensions

Apprentissage Séquentielle

Optimisation

Bandit

Bayesian

High dimension

Sequential Learning

Optimization

Résumé

Dans cette thèse, nous étudions une généralisation du modèle des bandits manchots classique appelée le problème des (semi-)bandits linéaires. Dans ce problème d'apprentissage séquentiel, un apprenant sélectionne, à chaque tour, une action représentée par un vecteur potentiellement de grande dimension. L'apprenant reçoit alors une récompense qui est une fonction linéaire inconnue de l'action choisie, perturbée par du bruit. L'objectif de l'apprenant est de maximiser sa récompense cumulée sur un horizon de temps donné.Nous étudions d'abord un algorithme bayésien appelé Thompson Sampling (TS) dans le cadre des semi-bandits combinatoires linéaires. Nous montrons que lorsque les récompenses sont de Bernoulli, le regret de Thompson Sampling avec une a priori bêta croît exponentiellement avec la dimension. Nous proposons ensuite une modification de l'algorithme pour remédier à ce problème. Cette modification consiste à utiliser une a priori et une postérieure gaussiennes, même si les récompenses ne le sont pas. Ce nouvel algorithme ne présente pas de croissance exponentielle du regret avec la dimension. Nous appelons ce phénomène le « Paradoxe du Mésappariement ».Dans le cadre des bandits linéaires, lorsque l'ensemble des actions est un ellipsoïde, nous établissons une borne inférieure localement asymptotiquement minimax sur le regret de tout algorithme. Nous proposons ensuite un algorithme efficace appelé E2TC, qui est localement asymptotiquement minimax optimal, à une constante multiplicative près. Nous présentons également des résultats d'impossibilité pour le problème d'optimisation bilinéaire que tout algorithme optimiste doit résoudre. Cependant, nous proposons un algorithme efficace pour ce problème lorsque l'ensemble des actions est un ellipsoïde.Enfin, nous étudions une autre extension du problème des bandits manchots dans laquelle plusieurs joueurs sélectionnent chacun un bras à chaque tour ; la récompense de chaque joueur est affectée par la présence des autres joueurs. Nous étudions les limites fondamentales de la communication entre les joueurs, en montrant comment les collisions peuvent être utilisées pour améliorer la performance d'apprentissage de l'ensemble des joueurs.

In this thesis, we study a generalization of the multi-armed bandit model called the linear (semi-)bandit problem. In this sequential learning problem, a learner selects, at each round, an action represented by a possibly high-dimensional vector. The learner then receives a reward that is an unknown linear function of the chosen action, corrupted by noise. The goal of the learner is to maximize their cumulative reward over a given time horizon.We first study a Bayesian algorithm called Thompson Sampling (TS) in the combinatorial linear semi-bandit setting. We prove that, when the rewards are Bernoulli distributed, the regret of Thompson Sampling with a Beta prior scales exponentially with the dimension. We then propose a modification of the algorithm to address this issue. This modification involves using a Gaussian prior and posterior, despite the rewards not being Gaussian. This new algorithm does not exhibit exponential regret growth with the dimension. We refer to this phenomenon as the ''Missmatched Paradox''.In the linear bandit setting, when the action set is an ellipsoid, we establish a locally asymptotic minimax lower bound on the regret of any algorithm. We then propose a computationally efficient Exploration and Commit based algorithm called E2TC, which is locally asymptotically minimax optimal up to a multiplicative constant factor. We also present impossibility results for the bilinear optimization problem that any optimistic algorithm must solve. However, we propose an efficient algorithm for this problem when the action set is an ellipsoid.Finally, we study an extension of the multi-armed bandit problem in which multiple players select an arm to pull at each round, and the reward of each player is affected by the presence of the other players. We investigate the fundamental limits of communication between players, demonstrating how collisions can be leveraged to enhance the learning performance of all players.