Apprentissage par Renforcement Profond pour la Gestion Energétique Optimale dans les Systèmes Intelligents Multi-Energies

Deep Reinforcement Learning for Optimal Energy Management in Smart Multi-Energy Systems

• Auteur / Autrice : Dhekra Bousnina
• Direction : Gilles Guérassimoff
• Type : Thèse de doctorat
• Discipline(s) : Contrôle, optimisation, prospective
• Date : Soutenance le 15/12/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Sophia Antipolis, Alpes-Maritimes)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques appliquées (Sophia Antipolis, Alpes-Maritimes)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure des mines (Paris ; 1783-....)
• Jury : Président / Présidente : Robert Bellini
• Jury : Examinateurs / Examinatrices : Gilles Guérassimoff, Erwin Franquet, Safa Layeb-Bhar, Eric Peirano, Welington De Oliveira
• Jury : Rapporteurs / Rapporteuses : Erwin Franquet, Safa Layeb-Bhar

Mots clés

Mots clés contrôlés

Jumeaux numériques

Commande, Théorie de la

Réseaux électriques intelligents

Quartiers durables

Mots clés libres

Contrôle Optimal

Éco-quartiers

Smart Grids

Systèmes Multi-Energies Intelligents

Apprentissage par Renforcement Profond

Réseaux de Chaleur et de Froid

Systèmes de Gestion de l'Energie

Contrôle Prédictif

Energy Management Systems

Optimal Control

Eco-Districts

Smart Multi-Energy Systems

Reinforcement Learning

District Heating and Cooling Systems

Model Predictive Control

Résumé

Cette thèse propose une approche de gestion de l’énergie basée sur l’Apprentissage par Renforcement Profond (DRL) pour les Systèmes Multi-Énergies Intelligents (SMEI). Le Système de Gestion Multi-Énergies Intelligente (SGMEI) est conçu pour optimiser la gestion des systèmes d’énergie flexibles, y compris le stockage de chaleur, de froid et d’électricité, ainsi que les systèmes de production dans les réseaux de chaleur et de froid, comm les Thermo-Frigo Pompes (TFPs). On propose ainsi l’application de cette approche sur l’étude de cas du projet Meridia Smart Energie (MSE), un projet réel de SMEI en cours de construction dans l’écoquartier de Nice Meridia, en France. L’agent DRL développé est comparé à un Contrôleur Prédictif (MPC) sur un premier cas d’étude simulé de SMEI simplifié, montrant que le DRL est capable d’approcher l’optimum théorique du MPC (à hauteur de 98%) en termes de réduction des coûts énergétiques. Cette étude suggère que le DRL est une approche prometteuse pour la gestion énergétique optimisée des SMEI. L’approche DRL est également appliquée sur un second cas d’étude à un jumeau numérique plus détaillé de MSE, développé sous Dymola, pour valider ces résultats sur un second cas d’étude plus complexe. Les futurs travaux porteront sur le transfert de l’apprentissage de la simulation à la réalité sur MSE et étendront l’application de cette approche à de nouveaux cas d’usage de SMEI.

This research introduces a Deep Reinforcement Learning (DRL)-based approach for the optimized energy management in Smart Multi-Energy Systems (SMES). A Smart Energy Management System (SEMS) is proposed to efficiently man-age flexible energy systems, including heating, cooling, electricity storage, and District Heating and Cooling Systems. The Meridia Smart Energy (MSE) eco-district, a real-world SMES project in southern France, serves as the case-study. The DRL framework uses actor-critic architecture and is compared to Model Predictive Control (MPC). Results from a first simplified MSE simulation model show that DRL closely approximates MPC’s theoretical optimum (within 98%) and even outperforms some realistic MPC variants. A more complex digital twin-based case-study further validates DRL’s promise for SMES energy management. Future work includes real-world integration, exploring additional objectives, and expanding to other SMES use-cases.