Méthodes Bayésiennes Efficaces Pour les Bandits Structurés en Grandes Dimensions.

Efficient Bayesian methods for high dimensional structured bandits.

• Auteur / Autrice : Raymond Zhang
• Direction : Sheng Yang
• Type : Projet de thèse
• Discipline(s) : Informatique mathématique
• Date : Inscription en doctorat le 01/12/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Signaux et Systèmes
• Partenaire(s) de recherche : Référent : CentraleSupélec

Mots clés

Mots clés libres

Bandits

Bayésien

Grandes dimensions

Apprentissage Séquentielle

Bandits

Bayesian

High dimension

Sequential Learning

Résumé

Le but de cette thèse est de proposer des algorithmes bayésiens efficaces en grandes dimensions pour les bandits structurés. Plusieurs questions importantes et non-triviales se posent pour résoudre ce problème: (i) Existe-il des moyens simples de prévoir dans quels cas l'échantillonnage de Thompson souffre du fléau de la dimension ? (ii) Est-il possible d'ajuster la distribution a priori afin de remédier à ce problème ? (iii) Existe-il des algorithmes de bandit bayésiens ne souffrant jamais du fléau de la dimension ? (iv) Comment généraliser ces résultats à l'apprentissage par renforcement ?

The goal of this thesis is to find efficient bayesian algorithms for high dimensional structured bandit. Many important non-trivial questions arise in order to solve this problem. (i) Do simple methods exist to predict in which cases Thompson sampling suffer from the curse of dimensionality? (ii) Is it possible to modify the prior distribution to solve the problem? (iii) Do bayesian algorithms that never suffer from the curse of dimensionality exist? (iv) How to generalize those results to reinforcement learning?