Apprentissage et évolution en présence de bruit et d'incertitude

Learning and evolution in the presence of noise and uncertainty

• Auteur / Autrice : Pierre-Louis Cauvin
• Direction : Panayotis Mertikopoulos, Jerome Malick
• Type : Projet de thèse
• Discipline(s) : Mathématiques Appliquées
• Date : Inscription en doctorat le 01/05/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble

Mots clés

Mots clés libres

Apprentissage

Evolution

Systèmes dynamiques

Robustesse

Théorie des jeux

Learning

Evolution

Dynamical systems

Robustness

Game theory

Résumé

Une question centrale dans l'étude des dynamiques de jeux est de se demander si le résultat d'un processus d'apprentissage ou d'évolution est aussi justifiable d'un point de vue rationnel – en particulier, si le processus mène vers un équilibre de Nash ou tout autre concept rationnellement acceptable. Plus spécifiquement, en présence de bruit et d'incertitudes, les joueurs d'un jeu n'ont pas forcément l'entière connaissance de sa structure. Mais les participants sont tout de même sensés s'adapter en accumulant des informations empiriques sur les avantages relatifs des différentes stratégies pures à leur disposition. Cela constitue le principe même de l'apprentissage en théorie des jeux, et met en avant l'une des questions les plus importantes du domaine : 'Est-ce qu'apprendre à l'aide d'observations empiriques mène à un équilibre de Nash ? Et, si c'est le cas, à quelle vitesse ?' La recherche contemporaine en théorie des jeux s'est principalement concentrée sur l'analyse de propriétés de stabilité – et d'instabilité – pour différents types d'équilibres par rapport à des algorithmes populaires d'apprentissage. En particulier, il a été montré que les équilibres stricts de Nash apparaissent comme les seuls points limites stables de l'apprentissage régularisé en présence de bruit. Les principaux objectifs de cette thèse consistent à aller plus loin que l'analyse qualitative de la stabilité asymptotique (stochastique) des équilibres stricts de Nash, et de : (a) Déterminer les propriétés structurelles et/ou variationnelles des ensembles limites de processus d'apprentissage régularisé et évolutionnaires dans les jeux (en temps continu et discret). (b) Développer une théorie unificatrice pour étudier des propriétés similaires de stabilité et de convergence dans des problèmes d'équilibre plus généraux (avec ou sans structure convexe, en fonction des applications). (c) Etudier les propriétés de convergence ergodique (telles que les mesures invariantes) de jeux et de problèmes avec des ensembles intérieurs évolutionnairement stables (ou tout autre concept d'équilibre fragile ne restant pas asymptotiquement stable en présence de bruit).

A central question in game dynamics is whether the outcome of a learning or evolutionary process is also justifiable from the point of view of rationality – in particular, whether the process leads to a Nash equilibrium or other rationally admissible solution concept. Specifically, in the presence of noise and uncertainty, the players of a game may not have full knowledge of its structure. But the participants are still supposed to adapt by accumulating empirical information on the relative advantages of the various pure strategies at their disposal. This constitutes the driving principle of game-theoretic learning, and highlights one of the field's most central questions: 'Does learning with empirical observations lead to a Nash equilibrium? And, if so, at what rate?' Contemporary research on game-theoretic learning has focused on understanding the stability – and instability – properties of different kinds of equilibria under popular learning algorithms. In particular, it has been shown that strict Nash equilibria emerge as the only stable limit points of regularized learning in the presence of noise. The principal objectives of this thesis consist in going a step beyond the qualitative analysis regarding the (stochastic) asymptotic stability of strict Nash equilibria, and to: (a) Determine the structural and/or variational properties of the long-run limit sets of regularized learning and evolutionary processes in games (in both continuous and discrete time). (b) Develop a unified theory for studying similar stability and convergence properties in more general equilibrium problems (with or without a convex structure, depending on the application). (c) Examine the ergodic convergence properties (such as the invariant measure) of games and problems with interior evolutionarily stable sets (or other fragile solution concepts that do not remain asymptotically stable in the presence of noise).