Apprentissage par Renforcement Continu en Environnements Dynamiques

Continual Reinforcement Learning with Changing Environments

• Auteur / Autrice : Anthony Kobanda
• Direction : Odalric-Ambrym Maillard
• Type : Projet de thèse
• Discipline(s) : Informatique et applications
• Date : Inscription en doctorat le 06/04/2023
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : MADIS Mathématiques, sciences du numérique et de leurs interactions
• Partenaire(s) de recherche : Laboratoire : INRIA - Institut national de recherche en informatique et en automatique Lille Nord Europe
• Partenaire(s) de recherche : Equipe de recherche : INRIA-CRIStAL

Mots clés

Mots clés libres

Apprentissage Continu

Apprentissage par Renforcement

Apprentissage Profond

Jeux Vidéos

Environnements Dynamiques

Continual Learning

Reinforcement Learning

Deep Learning

Video Games

Changing Environments

Résumé

Cette proposition de doctorat porte sur l'étude de l'apprentissage par renforcement continu dans des environnements changeants. L'apprentissage par renforcement est souvent appliqué dans des environnements stables, mais cette hypothèse n'est pas réaliste pour de nombreuses applications pratiques, telles que le développement de jeux vidéo ou les tâches d'agroécologie, où la dynamique, les tâches et les espaces d'observation/d'action peuvent changer fréquemment. L'objectif central de cette thèse est d'aborder le problème des agents à apprentissage continu qui sont confrontés séquentiellement à des tâches ou des environnements différents. Chaque environnement aura une dynamique, des espaces d'observation, des espaces d'action et des tâches uniques. Cette approche s'aligne sur les scénarios du monde réel où les environnements évoluent continuellement. La recherche sera axée sur le développement de nouvelles théories et de nouveaux algorithmes permettant à l'agent de s'adapter rapidement à un nouvel environnement sur la base d'informations préalables. Trois axes de recherche ont été définis : 1. ''Apprentissage par renforcement continu avec changements informés'' : L'agent est informé des changements entre deux environnements, ce qui simplifie le processus d'apprentissage. 2. ''Apprentissage par renforcement continu dans la nature : L'agent est confronté à des variations de l'environnement sans information préalable sur les changements. Il s'agit d'un scénario plus complexe, mais il permet d'avancer vers des systèmes entièrement automatiques. 3. ''Benchmarks pour les jeux vidéo'' : L'accent sera mis sur la création de repères pour évaluer et comparer les différentes approches, en tenant compte de la complexité de l'évaluation des systèmes sur la base de leur performance tout au long de leur durée de vie plutôt que sur la seule production finale. La collaboration pour le doctorat se fera entre l'INRIAL-Lille et Ubisoft, et son objectif est de faire progresser le domaine de l'apprentissage par renforcement continu, en rapprochant ces systèmes de l'industrialisation.

This PhD proposal revolves around the study of ''Continual Reinforcement Learning over Changing Environments''. Reinforcement Learning (RL) is often applied in stable environments, but this assumption isn't realistic for many practical applications, such as video game development or agroecology tasks, where dynamics, tasks, and observation/action spaces can frequently change. The central aim of the thesis is to address the problem of continually learning agents that sequentially face different tasks or environments. Each environment will have unique dynamics, observation spaces, action spaces, and tasks. This approach aligns with real-world scenarios where environments continually evolve. The research will be anchored on developing new theories and algorithms to enable the agent to quickly adapt to a new environment based on prior information. Three research axes have been defined: 1. ''Continual Reinforcement Learning with Informed Changes'': The agent is informed about the changes between two environments, simplifying the learning process. 2. ''Continual Reinforcement Learning in the Wild'': The agent faces environment variations without prior information on the changes. This is a more complex scenario, but it pushes toward fully automatic systems. 3. ''Benchmarks for Video Games'': A focus will be given to creating benchmarks to evaluate and compare different approaches, taking into account the complexity of evaluating systems based on lifetime performance rather than just final output. The collaboration for the PhD will be between INRIAL-Lille and Ubisoft, and its objective is to advance the field of continual reinforcement learning, bringing these systems closer to industrialization.