Apprentissage par renforcement à champ moyen : une perspective de contrôle optimal

Mean field reinforcement learning : an optimal control perspective

• Auteur / Autrice : Athanasios Vasileiadis
• Direction : François Delarue
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 23/02/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences fondamentales et appliquées (Nice ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire J.-A. Dieudonné (Nice)
• Jury : Président / Présidente : Mireille Bossy
• Jury : Examinateurs / Examinatrices : François Delarue, Mireille Bossy, Noufel Frikha, Huyên Pham, Zhenjie Ren, Francisco Silva, Patricia Reynaud-Bouret, Nicole Bäuerle
• Jury : Rapporteurs / Rapporteuses : Noufel Frikha, Huyên Pham

Mots clés

Mots clés contrôlés

Nash, Variétés de

Markov, Processus de

Théorie du champ moyen

Mots clés libres

Jeux à champ moyen

Contrôle à champ moyen

Processus de décision markoviens

Bruit d'exploration

Bruit commun

Équilibre de Nash

Q-learning

Mean field games

Mean field control

Q-learning

Exploration noise

Common noise

Markov decision process

Nash equilibrium

Résumé

L'apprentissage par renforcement est un paradigme clé de l'apprentissage machine, dont l'objectif est d'inciter les agents à tirer les leçons de leur propre expérience passée afin qu'ils s'améliorent au fil du temps, voir par exemple la monographie [14]. À cet égard, les systèmes impliquant un grand nombre d'agents sont importants pour les applications, mais restent difficiles à traiter du point de vue numérique, voir par exemple le récent post [12]. Le renforcement de l'apprentissage avec plusieurs agents est généralement appelé "apprentissage de renforcement multi-agents" (MARL). Comme démontré dans la publication antérieure [15], cela peut couvrir diverses situations avec des agents opérant individuellement ou collectivement. L'analyse de l'apprentissage par renforcement s'appuie fortement sur les outils mathématiques de la théorie du contrôle et de la théorie des jeux. Tout comme les MARL, les deux peuvent également être confrontés à des difficultés lorsque la dimension augmente. Cela a incité plusieurs auteurs à mettre en œuvre une approche champ moyen, issue de la physique statistique, afin de réduire la complexité globale, voir entre autres les travaux fondateurs de Lasry and Lions [9] et de Huang, Caines et Malhame [7] et les deux monographies [3, 4] sur les jeux à champ moyen et le contrôle champ moyen. L'objectif du doctorat sera de mettre en œuvre une approche similaire de la gestion des MARL. L'idée a été étudiée, au moins pour les agents individuels, dans plusieurs documents récents, voir [8, 10, 13, 16]. Dans ces derniers, non seulement l'approche champ moyen permet de réduire la complexité de façon significative, mais elle fournit également des solutions distribuées (ou décentralisées), qui sont d'une grande utilité pratique. La mise en œuvre numérique est principalement abordée dans [13, 16]. Le lien avec les notions d'apprentissage dans la théorie des jeux est cité dans [10], sur la base d'idées antérieures, voir [2]. La première partie de la thèse consistera à revisiter les travaux existants. Cela demandera en particulier une analyse soigneuse de la stabilité portant à la fois sur le passage d'un système fini d'agents à un système infini et sur l'utilisation de stratégies approximatives (au lieu de stratégies exactes). À la lumière de [2], on peut s'attendre à ce que la monotonie joue un rôle dans l'analyse globale ; une autre orientation, mais plus prospective, consiste à discuter de l'influence d'un environnement stochastique sur le comportement des algorithmes eux-mêmes. Une autre partie de la thèse sera consacrée au cas de la coopération, voir par exemple [5], dont l'analyse s'appuiera sur la théorie du contrôle en champ moyen. Comme mentionné dans [13], des structures potentielles peuvent permettre de faire le lien entre les cas individuel et coopératif ; comme démontré dans [11], ces liens jouent un rôle dans la construction de politiques incitatives.

The goal of the PhD will be to implement a similar mean field approach to handle MARL. This idea was investigated, at least for individual agents, in several recent papers. In all of them, not only Mean field approach to MARL (Multi Agent Reinforcement Learning) does the mean field approach allow for a significant decrease of complexity, but it also provides distributed (or decentralized) solutions, which are of a very convenient use in practice. Numerical implementation using either on-or off-policy learning is discussed in the literature. The first part of the thesis will consist in revisiting the former works from a mathematical point of view. In particular, this will ask for a careful stability analysis addressing both the passage from a finite to an infinite system of agents and the use of approximated (instead of exact) policies. We may expect monotonicity to play a key role in the overall analysis; another, but more prospective, direction is to discuss the influence of a stochastic environment onto the behavior of the algorithms themselves. Another part of the thesis will be dedicated to the cooperative case the analysis of which will rely upon mean field control theory. Potential structures may allow to make the connection between individual and cooperative cases. The connection between the two may indeed play an important role for incentive design or, equivalently, for mimicking a cooperative system with individual agents. In this regard, connection with distributional reinforcement learning, may be an interesting question as well