Apprentissage par renforcement profond pour les systèmes distribués

Deep reinforcement learning for distributed systems

• Auteur / Autrice : Zhuofan Xu
• Direction : Matthias Fuegger
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire Méthodes Formelles
• Partenaire(s) de recherche : Référent : Ecole Normale Supérieure Paris-Saclay

Mots clés

Mots clés libres

Apprentissage par renforcement

L'apprentissage en profondeur

Systèmes distribués

Reinforcement learning

Deep learning

Distributed systems

Résumé

Étant donné un ensemble de n > 1 agents dans un environnement, une question naturelle est de savoir comment concevoir un algorithme distribué pour les agents, tel que le comportement collectif des agents réponde à une certaine spécification. De tels problèmes ont été étudiés sous diverses formes dans le contexte de l'informatique distribuée. Des exemples de problèmes sont l'obtention d'un accord entre les agents malgré des états initiaux incohérents, l'exécution d'actions synchronisées malgré une communication peu fiable et l'obtention d'un instantané cohérent à l'échelle du système, entre autres. Classiquement, les solutions en termes d'algorithmes distribués ont été conçues à la main et ont ensuite fait leurs preuves. Motivés par la difficulté à trouver des solutions, la synthèse automatisée d'algorithmes distribués a été abordée. Cependant, les méthodes proposées sont soit d'un coût prohibitif en termes de complexité de calcul, et/ou les algorithmes et les environnements sont trop restreints pour être appliqués à des problèmes du monde réel. Dans ce projet de thèse, nous travaillerons sur des solutions approchées alternatives. Nous étudierons l'apprentissage par renforcement profond comme méthode de synthèse d'algorithmes distribués. Un défi majeur, et un objectif, de ce projet de recherche réside dans le fait que les techniques classiques d'apprentissage par renforcement nécessitent un petit espace d'action et ne s'adaptent donc pas aux systèmes distribués avec un grand n. L'objectif du projet est de proposer de nouvelles techniques d'apprentissage par renforcement profond particulièrement adaptées aux systèmes distribués, là où les méthodes classiques échouent. Les méthodes proposées seront ensuite appliquées à des exemples réels, en mettant l'accent sur les systèmes biologiques distribués (contrôle des infections, compilation de circuits génétiques), où nous considérons un environnement stochastique et recherchons des algorithmes distribués probabilistes optimaux.

Given a set of n > 1 agents within an environment, a natural question is how to design a distributed algorithm for the agents, such that the agents' collective behavior fulfills a certain specification. Such problems have been studied in diverse flavors in the context of distributed computing. Examples for problems are reaching agreement among the agents despite initial inconsistent states, performing synchronized actions despite unreliable communication, and obtaining a consistent system-wide snapshot, among others. Classically, solutions in terms of distributed algorithms have been designed by hand and were subsequently proven correct. Motivated by the difficulty to come up with solutions, automated synthesis of distributed algorithms has been addressed. However, the proposed methods are either prohibitively expensive in terms of computational complexity, and/or algorithms and environments are too restricted to be applied to real-world problems. In this PhD project, we will work on alternative approximate solutions. We will study deep reinforcement learning as a method to synthesize distributed algorithms. A major challenge, and focus, of this research project lies in the fact that classical reinforcement learning techniques require a small action space and thus do not scale for distributed systems with large n. The goal of the project is to propose new deep reinforcement learning techniques that are particularly well suited for distributed systems, where classical methods fail. The proposed methods will then be applied to real-world examples, with a focus on distributed biological systems (infection control, compilation of genetic circuits), where we consider a stochastic environment and search for optimal probabilistic distributed algorithms.