Apprentissage par renforcement basé sur la connaissance pour la gestion énergétique multi-bâtiments côté demande

Knowledge-Driven Reinforcement Learning for Demand Side Multi-Building Energy Management

• Auteur / Autrice : Sharath Ram Kumar
• Direction : Benoit Delinchant, Arvind Easwaran, Remy Rigo-Mariani
• Type : Thèse de doctorat
• Discipline(s) : Génie électrique
• Date : Soutenance le 12/11/2025
• Etablissement(s) : Université Grenoble Alpes en cotutelle avec Nanyang Technological University (Singapour)
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Equipe de recherche : Equipe de recherche Modèles, méthodes et méthodologies appliqués au génie électrique (Grenoble, Isère, France ; 2010-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de génie électrique (Grenoble, Isère, France ; 2007-....)
• Jury : Président / Présidente : Patrick Reignier
• Jury : Examinateurs / Examinatrices : Dipti Srinivasan, Rui Tan
• Jury : Rapporteurs / Rapporteuses : Patrick Reignier, Gilles Guérassimoff
• DOI : 10.70675/ed577ca0z8ac1z4719zbb58z18f4496c6099

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Micro-réseaux électriques intelligents

Domotique

Économies d'énergie

Mots clés libres

Apprentissage par renforcement

Gestion énergétique bâtiments

Contrôle multi-Microgrid

Basé sur la connaissance

Reinforcement Learning

Building energy management

Control of Multi-Microgrid

Knowledge informed

Résumé

Les bâtiments sont responsables d'une part importante de la consommation énergétique et des émissions mondiales. Améliorer leur efficacité opérationnelle grâce à des stratégies de contrôle avancées offre une opportunité concrète de réduire la consommation d'énergie tout en préservant le confort des occupants et l'état des équipements. Parmi les approches basées sur les données, l'apprentissage par renforcement (RL) est prometteur grâce à sa capacité à apprendre des politiques de contrôle directement à partir des données des capteurs, sans nécessiter de modèles système détaillés. Cependant, les techniques d'apprentissage par renforcement standard se heurtent à plusieurs obstacles dans les applications concrètes du bâtiment, notamment dans les contextes multi-bâtiments. Parmi ces obstacles figurent des temps d'apprentissage longs, des préoccupations en matière de sécurité, des problèmes d'évolutivité et un accès limité aux données granulaires ou « derrière le compteur ».Cette thèse étudie l'utilisation des connaissances du domaine pour surmonter ces limitations. Elle propose d'abord une taxonomie des représentations des connaissances du domaine pertinentes pour les problèmes de contrôle des bâtiments. Elle présente ensuite un ensemble de techniques permettant d'intégrer ces connaissances aux différentes étapes du pipeline d'apprentissage par renforcement, de la formulation du problème et de la modélisation de l'environnement à la formation et au déploiement. À travers une série d'exemples illustratifs, la thèse démontre comment ces stratégies fondées sur les connaissances peuvent améliorer l'efficacité de l'apprentissage, réduire les besoins en infrastructures, favoriser la participation des utilisateurs et renforcer la sécurité. Les exemples couvrent des scénarios impliquant un seul bâtiment ou plusieurs bâtiments, en mettant l'accent sur les environnements où les données sont limitées. Globalement, ces travaux démontrent qu'une approche axée sur les connaissances permet l'application pratique du RL à la gestion coordonnée de l'énergie des bâtiments dans des conditions réelles.

Buildings are responsible for a significant share of global energy consumption and emissions. Improving their operational efficiency through advanced control strategies offers a clear opportunity to reduce energy use while maintaining occupant comfort and equipment health. Among data-driven approaches, Reinforcement Learning (RL) holds promise due to its ability to learn control policies directly from sensor data without requiring detailed system models. However, standard RL techniques face several barriers in real-world building applications, particularly in multi-building contexts. These include long training times, safety concerns, scalability issues, and limited access to granular or behind-the-meter data.This thesis investigates the use of domain knowledge as a means to overcome these limitations. It first proposes a taxonomy of domain knowledge representations relevant to building control problems. It then presents a set of techniques for integrating such knowledge into different stages of the RL pipeline, ranging from problem formulation and environment modelling to training and deployment. Through a series of illustrative examples, the thesis demonstrates how these knowledge-informed strategies can improve learning efficiency, reduce infrastructure requirements, support user participation, and enhance safety. The examples span both single-building and multi-building scenarios, with a focus on data-limited environments. Overall, this work shows that a knowledge-driven approach enables the practical application of RL to coordinated building energy management under real-world constraints.