Apprentissage, prédiction et optimisation des apports énergétiques pour un bâtiment à faible impact environnemental

Learning, Forecasting and optimization of energy supply for a low environmental impact building

• Auteur / Autrice : Louis Desportes
• Direction : Inbar Fijalkow
• Type : Thèse de doctorat
• Discipline(s) : STIC (Sciences et Technologies de l'Information et de la Communication) - ED EM2PSI
• Date : Soutenance le 16/12/2022
• Etablissement(s) : CY Cergy Paris Université
• Ecole(s) doctorale(s) : École doctorale Économie, Management, Mathématiques, Physique et Sciences Informatiques (Cergy-Pontoise, Val d'Oise)
• Partenaire(s) de recherche : Laboratoire : Equipes Traitement de l'Information et Systèmes (Cergy-Pontoise, Val d'Oise)
• Jury : Examinateurs / Examinatrices : Inbar Fijalkow, Damien Ernst, Emmanuel Daucé, Marie-Cécile Péra, Adrien Jeantet, Nicolas Bredèche, Pierre Andry
• Jury : Rapporteurs / Rapporteuses : Damien Ernst, Emmanuel Daucé

Mots clés

Mots clés libres

Apprentissage par renforcement

Réseaux de Neurones

Apprentissage profond

Optimisation

Système de stockage d'énergie

Stockage énergétique hybride

Reinforcement Learning

Neural networks

Deep Learning

Optimization

Energy storage system

Hybrid energy storage system

Résumé

Afin d'atténuer le changement climatique nous devons baisser nos émissions de gaz à effet de serre, principalement de CO_2, notamment en passant à des énergies bas carbone comme les panneaux solaires. Toutefois, l'intermittence de telles sources d'énergies implique de mettre en place des méthodes de stockage (ESS) pour alimenter les usages avec des besoins continus en énergie comme un centre de données ou un bâtiment. Pour minimiser l'impact carbone d'un tel stockage, il a été proposé d'utiliser un stockage hybride (HESS) batterie-hydrogène. On cherche donc à contrôler ce stockage hybride à l'aide d'apprentissage par renforcement profond (DRL) dans un but de minimisation de l'impact carbone. Nous commençons par proposer un prédicteur de température à venir afin de préciser la consommation à venir, et d'irradiance, pour prédire la production des panneaux solaire. Ensuite nous formulons le problème de stockage d'énergie à une batterie avant de le résoudre de manière instantanée. La solution instantanée n'étant pas adaptée à la gestion à long-terme, nous reformulons notre problème dans le cadre de l'apprentissage par renforcement (RL) pour apprendre une politique à même d'alimenter le centre de données plusieurs mois. Nous proposons une reformulation du problème à deux batteries pour utiliser l'apprentissage par renforcement profond avant de réduire l'espace d'action à une variable pour produire une politique tenant toute l'année tout en minimisant l'impact carbone. Nous ajoutons des informations temporelles afin de permettre à la politique de prendre en compte les cycles temporels. Cet ajout nous permet de réduire encore plus l'impact carbone du stockage. Enfin nous étudions la robustesse de notre solution aux erreurs de prédiction du prédicteur

In the context of climate change, we have to lower our greenhouse gas emissions, in particular CO_2,mostly by switching to low carbon energy sources, as solar energy.However, the energy produced by photovoltaic panels is intermittent. Therefore, we need to use Energy Storage Systems (ESS) to meet the continuous demand of energy, such as from a datacenter or a building.To minimize the carbon impact of energy storage, the use of an hybrid storage, with a classic battery and an hydrogen storage, has been proposed.In this thesis we intend to control this Hybrid ESS (HESS) using Deep Reinforcement Learning (DRL) in order to minimize the storage carbon impact.At first, we propose a temperature forecaster to enable us to gain more precise consumption and production forecasts on a several hours horizon.Then, we formulate the single battery energy storage problem before solving it analytically in the instantaneous case.The optimal instantaneous policy being inefficient to manage in the long-term, we reformulate this problem in a Reinforcement Learning (RL) setting to find a policy able to power the datacenter during several months.We adapt this formulation by adding the hydrogen storage to our problem and use DeepRL to find a policy able to power the datacenter for the whole year while minimising the carbon impact.To achieve this, we had to reduce the action space to a single dimension: the balance of the recharged or discharged energy between the two storages.We added also temporal information to its inputs, in order to adapt to the time regularities of the production and consumption. We found that a lookback is the best temporal information format.This reduced the carbon impact further.Finally, we study the robustness of our HESS to solar production forecasting errors.