Exploration randomisée pour l'apprentissage par renforcement avec des garanties d'efficacite

Provably Efficient Randomized Exploration in Reinforcement Learning

• Auteur / Autrice : Daniil Tiapkin
• Direction : Eric Moulines, Gilles Stoltz
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : CMAP - Centre de Mathématiques appliquées
• Partenaire(s) de recherche : Equipe de recherche : SIMPAS : Signal IMage Probabilités numériques Apprentissage Statistique

Mots clés

Mots clés libres

Apprentissage par renforcement

Exploration randomisée

Theorie de l'apprentissage

Reinforcement learning

Randomized exploration

Learning Theory

Résumé

Dans le monde actuel, les systèmes d'intelligence artificielle (IA) sont développés à grande échelle, et l'apprentissage par renforcement (RL) ne fait pas exception. L'essor rapide des applications RL à grande échelle est particulièrement évident dans des secteurs cruciaux tels que la conduite autonome et la santé. Cependant, ces secteurs nécessitent non seulement une utilisation optimale des ressources, mais sont également caractérisés par des coûts d'erreur élevés, résultant souvent en perte de vies. De plus, les applications du monde réel exigent non seulement une solution optimale, mais aussi des contraintes. Pour assurer le fonctionnement stable et équitable de l'algorithme RL dans les applications pratiques, il est crucial de le soutenir avec des garanties théoriques et de la scalabilité, qui constituent les thèmes centraux de cette projet de doctorat. Le projet de recherche doctorale vise à innover en développant des algorithmes d'apprentissage par renforcement (RL) mathématiquement robustes et efficaces pour l'exploration, conçus pour une éventuelle mise en œuvre à grande échelle dans des applications du monde réel. De plus, le projet prendra en compte l'équité dans le développement des algorithmes pour souligner la nécessité de créer des solutions d'IA équitables.

In today's world, artificial intelligence (AI) systems are being developed on a large scale, and reinforcement learning (RL) is no exception. The quick rise of large-scale RL applications is particularly evident in critical sectors such as autonomous driving and healthcare. However, these sectors not only require optimal resource utilization, but are also characterized by high error costs, often resulting in loss of life. Moreover, real-world applications require not only an optimal solution, but also constraints. To ensure the stable and fair functionality of the RL algorithm in practical applications, it is crucial to underpin it with theoretical guarantees and scalability, which form the central themes of this PhD project. The PhD research project aims to innovate by developing mathematically robust and efficient reinforcement learning algorithms for exploration designed for potential large-scale deployment in real-world applications. In addition, the project will consider fairness in algorithm development to emphasize the need to create fair AI solutions.