SIGNALER une erreur

Apprentissage par Renforcement Profond pour la Gestion Energétique Optimale dans les Systèmes Intelligents Multi-Energies

par Dhekra Bousnina

Projet de thèse en Contrôle, optimisation, prospective


Sous la direction de Gilles Guerassimoff.

Thèses en préparation à l'Université Paris sciences et lettres , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication , en partenariat avec Mathématiques et Systèmes (laboratoire) , CMA - Centre de Mathématiques Appliquées (equipe de recherche) et de Mines Paris-PSL (établissement opérateur d'inscription) depuis le 30-04-2019 .


  • Résumé

    Cette thèse introduit une approche de gestion de l'énergie pour les Systèmes Multi-Energies Intelligents (SMEI) basée sur des algorithmes d'Apprentissage par Renforcement Profond (Deep Reinforcement Learning, DRL). Nous proposons un Système de Gestion Multi-Énergies Intelligente (SGMEI) conçu pour optimiser la gestion des systèmes d'énergie flexibles au sein des SMEI, notamment les systèmes de stockage de chaleur, de froid et d'électricité, ainsi que les systèmes de production dans les réseaux de chaleur et de froid tels que les Thermo-Frigo Pompes (TFPs). Cette étude vise l'application de l'approche proposée sur l'étude de cas Meridia Smart Energie (MSE), un projet démonstrateur pour les SMEI, actuellement en construction dans l'écoquartier de Nice Meridia, dans le sud de la France. Le projet MSE englobe un écoquartier composé d'environ 50 bâtiments, dont plusieurs sont équipés de panneaux photovoltaïques. Les occupants de cet écoquartier seront alimentés par de la chaleur et du froid produits localement grâce à un ensemble de TFPs géothermiques et acheminés aux bâtiments grâce à un réseau de chaleur et de froid de quatrième génération. En plus de la production locale d'électricité, de chaud et de froid, le SMEI de MSE intègre également des systèmes de stockage multi-énergies, notamment un système innovant de stockage de chaleur par matériaux à changement de phase, un stockage de froid par des bacs de glace et un stockage électrique par batterie. Le problème de gestion optimisée est abordé en utilisant une approche basée sur des algorithmes de DRL. Le framework développé repose sur une architecture dite acteur-critique et est benchmarké avec une approche basée sur du Contrôle Prédictif (Model Predictive Control, MPC), l'une des techniques les plus largement utilisées pour le contrôle avancé des processus, tant dans l'industrie que dans le milieu académique. Les résultats de simulation sur le cas d'étude 1, un modèle de simulation pour un SMEI simplifié inspiré de MSE, démontrent que l'agent DRL développé réussit à apprendre une stratégie qui s'approche étroitement de l'optimum théorique obtenu par le contrôleur MPC (à hauteur de 98 %) en termes de réduction des coûts énergétiques globaux dans le SMEI. À noter que la performance de l'agent DRL a même surpassé certaines variantes du MPC qui ont été alimentées par des prévisions réalistes. Cette étude représente l'une des premières tentatives dans la littérature qui visent à comparer simultanément les approches DRL et MPC pour la gestion multi-énergie optimisée sur des cas d'étude de SMEI, suggérant que l'approche DRL est prometteuse pour la gestion énergétique et économique durable des SMEI. L'approche de DRL proposée est ensuite appliquée au cas d'étude 2, pour lequel un jumeau numérique a été développé sous Dymola (langage Modelica) pour l'écoquartier MSE. Ce jumeau numérique est exporté en tant qu'Unité de Modélisation Fonctionnelle (Functional Mock-up Unit, FMU) et encapsulé en tant qu'environnement Open AI Gym, servant ainsi d'environnement d'entraînement, de validation et de test pour l'agent DRL. Les résultats de simulation de l'application de l'approche DRL sur le jumeau numérique de MSE valident les conclusions de l'étude de cas 1, confirmant que le DRL est une approche prometteuse pour la résolution du problème de la gestion optimisée multi-énergies dans les SMEI. Les travaux futurs consisteront à assurer la transition des algorithmes DRL développés des modèles de simulation vers les systèmes réels de MSE et à explorer des cas d'usage et des objectifs d'optimisation supplémentaires, tels que l'autoconsommation collective au sein de l'écoquartier et la participation aux mécanismes d'effacement et aux marchés de réglage de fréquence, ainsi que l'extension du SMEI pour inclure la gestion de systèmes multi-énergies supplémentaires, tels que les véhicules électriques, les stations de recharge, l'éclairage public ainsi que les charges pilotables dans les bâtiments.

  • Titre traduit

    Deep Reinforcement Learning for Optimal Energy Management in Smart Multi-Energy Systems


  • Résumé

    This PhD research work introduces an energy management approach for Smart Multi-Energy Systems (SMES) that leverages the power of Deep Reinforcement Learning (DRL) algorithms. We propose a Smart Energy Management System (SEMS) that is designed to optimize the management of flexible energy systems within SMES, including heating, cooling and electricity storage systems as well as District Heating and Cooling Systems (DHCS) such as district-level Thermo-Refrigerating Heat Pumps. The study focuses on applying the proposed approach on the Meridia Smart energy (MSE) case-study, a real-world demonstration project for SMES that is currently under construction within the Nice Meridia eco-district in southern France. MSE consists of an eco-district that encompasses 50 buildings, many of which are equipped with photovoltaic (PV) panels. The occupants will be supplied with heat and cold produced locally in the eco-district thanks to a geothermal Fourth Generation DHCS. In addition to local electricity, heating and cooling production, the SMES also integrates multi-energy storage systems, namely an innovative heat storage system by phase-changing materials, a cold storage by ice storage tanks and a battery storage offering additional flexibility. The decision making problem is tackled using a DRL approach. The developed DRL framework is based on an actor-critic architecture and is benchmarked against Model Predictive Control (MPC), which is one of the most widely used methods for advanced process control in both industrial and academic level. Simulation results on case-study 1, a simplified simulation model drawn from MSE, demonstrate that the proposed DRL approach succeeds in learning a strategy that closely approximates the theoretical MPC optimum (within 98%) in terms of overall energy cost reduction. Notably, it even outperformed some MPC variants with realistic forecasts. This study represents one of the initial attempts in the literature to simultaneously benchmark DRL and MPC approaches for multi-energy management in SMES case-studies and suggests that the DRL approach holds promise for energy and cost-efficient and sustainable management of SMES. The proposed DRL framework is further applied on case-study 2 where a digital twin has been developed for the MSE eco-district under Dymola (Modelica language). This digital twin, exported as a Functional Mock-up Unit (FMU) and wrapped as an Open AI Gym environment serves as training, validation and testing environment for the DRL agent. Simulation results of applying the DRL approach on the MSE digital twin re-affirm the findings from case-study 1 and showcased that DRL is a promising approach to address the problem of optimal energy management in SMES. Future works will involve transitioning the DRL framework from simulation to the real-world systems of the MSE project and exploring additional use-cases and optimization objectives such as collective self-consumption and participation in frequency regulation markets and demand response mechanisms, and expanding the scope of the considered SMES to involve the management of other multi-energy systems including electric vehicles, charging stations, public lighting as well as controllable building devices.