Améliorer la généralisation et la capacité de prévision en apprentissage par renforcement

Temporal Modeling in Reinforcement Learning improving Foresight and Generalization

• Auteur / Autrice : Théo Zangato
• Direction : Aomar Osmani
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 02/02/2022; Soutenance le 27/01/2026
• Etablissement(s) : Paris 13
• Ecole(s) doctorale(s) : École doctorale Galilée (Villetaneuse, Seine-Saint-Denis)

Mots clés

Mots clés libres

Apprentissage par renfocement

Séries temporelles

Généralisation

Reinforcement Learning

Time series

Generalization

Résumé

L'apprentissage par renforcement (RL) est devenu un paradigme de référence pour la prise de décision séquentielle, mais les méthodes actuelles ne permettent souvent pas d'anticiper les événements futurs ni de généraliser au-delà de l'environnement dans lequel elles ont été entraînées. Cette thèse aborde ces limites en étudiant comment la structure temporelle peut être intégrée efficacement dans le RL afin d'améliorer à la fois les performances d'apprentissage et la capacité de généralisation. La question centrale de la recherche est la suivante : comment exploiter les informations structurées temporellement pour améliorer l'anticipation et le transfert dans les politiques d'apprentissage par renforcement ? On aborde deux objectifs de recherche. Le premier concerne les performances d'apprentissage: on améliore des approches model-free avec des représentations temporelles explicites des dynamiques exogènes. On introduit des modules de prévision à court et long terme, basés sur les architectures LSTM et Transformer, qui sont intégrés dans des méthodes Actor-Critic telles que Proximal Policy Optimization (PPO). Ces prédicteurs permettent aux agents de compenser les retards temporels, d'anticiper les pics de coûts et de construire des représentations internes structurées de la dynamique future. Le deuxième objectif vise la généralisation et l'adaptation via des méthodes de regroupement temporel et de classification des profils de tâches qui permettent la réutilisation des politiques, ainsi qu'un méthode hybride de méta-apprentissage combinant des architectures Actor-Critic avec une optimisation de type Reptile afin de faciliter l'adaptation rapide à des tâches inconnues Nos contributions comprennent : 1) un algorithme RL qui comprend des modules de prédiction temporelles ; 2) une approche basée sur les données pour le transfert de politiques entre des régimes temporels similaires ; et 3) un algorithme méta-RL, améliorant l'efficacité des échantillons et l'adaptabilité. Ces méthodes sont validées dans le domaine des systèmes de gestion de l'énergie des bâtiments (EMS) à l'aide de jeux de données réels. Les résultats montrent une réduction des coûts d'exploitation pouvant atteindre 15%, une convergence plus rapide, une robustesse améliorée en cas de changements de distribution. Ces travaux démontrent que la modélisation temporelle est une solution pour un améliorer l'anticipation, la généralisation et l'efficacité. Au-delà des EMS, les approches proposées ouvrent des axes d'amélioration pour le déploiement du RL dans des environnements dynamiques réels où les régularités temporelles et la variabilité des tâches sont essentielles

Reinforcement Learning (RL) has become a leading paradigm for sequential decision-making, yet state-of-the-art methods often lack the ability to anticipate future events and to generalize beyond the environment in which they were trained. This thesis addresses these limitations by investigating how temporal structure can be effectively integrated into RL to improve both learning performance and generalization capacity. The central research question is: How can temporally structured information be exploited to enhance foresight and transfer in reinforcement learning policies? Two complementary research objectives are pursued. The first concerns learning performance: we propose to augment model-free RL with explicit temporal representations of exogenous dynamics. We introduce short- and long-horizon forecasting modules, based on LSTM and Transformer architectures, that are embedded into Actor?Critic methods such as Proximal Policy Optimization (PPO). These predictors allow agents to offset temporal delays, anticipate cost peaks, and build structured internal representations of future dynamics. The second objective targets generalization and adaptation: we design temporal clustering and task-profile classification methods that enable policy reuse across tasks with similar recurrence patterns, as well as a hybrid meta-learning framework combining actor?critic architectures with Reptile-style optimization to facilitate rapid adaptation to unseen tasks. Our contributions include: 1) a framework for forecast-augmented RL that closes the foresight gap in reactive policies; 2) a data-driven approach for policy transfer across clustered temporal regimes; and 3) a meta-RL algorithm with shared representation learning and actor parameter reuse, improving sample efficiency and adaptability. These methods are validated on the challenging domain of Building Energy Management Systems (EMS) using real-world datasets. Results show up to 15% reduction in operating costs, faster convergence, improved robustness under distributional shifts, and effective adaptation to stochastic tariff changes without retraining