Exploitation de la connaissance partielle du système en apprentissage par renforcement pour le contrôle d'admission et l'optimisation du stockage de l'électricité

Exploiting Partial System Knowledge in Reinforcement Learning for Admission Control and Electricity Storage Optimization

• Auteur / Autrice : Lucas Weber
• Direction : Ana Busic
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/09/2021
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : DIENS - Département d'informatique de l'École normale supérieure
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Apprentissage par renforcement

Contrôle d'admission

Minimisation du regret

Stockage d'énergie

Réduction de pics

Algorithmes d'optimisation

Reinforcement learning

Admission control

Regret minimization

Energy storage

Pick shaving

Optimization algorithms

Résumé

Les coûts de calcul, la consommation d'énergie et les durées d'apprentissage limitent le déploiement de l'apprentissage par renforcement (RL). Alors que les algorithmes classiques sont génériques, intégrer des connaissances spécifiques aux problèmes traités peut améliorer les performances et l'efficacité de l'usage des données. Nous traitons trois problèmes - le contrôle d'admission dans des files d'attente, l'optimisation du stockage de l'électricité et l'accélération du calcul de la fonction de biais - et concevons des algorithmes qui exploitent leurs structures pour plus d'efficacité. Nous modélisons le contrôle d'admission comme une file d'attente $M/M/c/S$ avec $m$ classes de clients. Chaque client accepté génère une récompense et un coût de stockage spécifiques à sa classe. Les taux d'arrivée sont inconnus. Dans ce problème, des politiques optimales suivent une structure de seuil : un client est accepté si et seulement si le nombre total de clients dans le système est inférieur au seuil associé à sa classe. Les travaux précédents n'offrent qu'une convergence asymptotique vers une politique optimale en exploitant cette structure. Nous proposons un algorithme qui donne une borne sur l'espérance du regret pour un temps fini. Le terme dominant est $O(Slog T + sqrt{mTlog T})$, où $T$ est le temps total. L'algorithme exploite la structure de la file d'attente en apprenant les taux d'arrivée. Il suit le principe de l'optimisme face à l'incertitude et maximise la récompense moyenne pour le processus de décision Markovien (MDP) avec les taux d'arrivée plausibles les plus favorables. Les garanties sur le regret sont améliorées grâce à des bornes sur la fonction de valeur. Dans le problème d'optimisation du stockage d'électricité, nous considérons un consommateur avec une demande et une production stochastiques et une batterie. Il peut acheter ou vendre de l'électricité selon ses besoins et son utilisation de la batterie. La facture comprend des frais d'énergie, pour l'électricité achetée au réseau, et des frais de demande, proportionnels à la demande maximale du consommateur sur une période donnée (par exemple, un jour ou un mois). Les prix de l'électricité sont déterministes et dépendent de l'heure. Nous concevons un algorithme RL pour un modèle de batterie non linéaire. Il suppose l'existence d'un simulateur de batterie et décompose les transitions d'état en composantes stochastiques et déterministes pour effectuer une exploration hors ligne. Cela permet un apprentissage rapide avec peu de données. Cet algorithme est testé sur des données réelles. Enfin, nous nous concentrons sur l'accélération de l'estimation de la fonction de biais pour le critère de récompense moyenne. En supposant un MDP avec un espace d'états fini de taille $n$ et des valeurs propres de la matrice de transition connues à politique fixée, l'algorithme Policy Iteration requiert typiquement $O(n^3)$ opérations pour une évaluation exacte. À l'inverse, Modified Policy Iteration réduit les coûts en utilisant des approximations des fonctions de biais, nécessitant seulement $O(n^2)$ calculs par itération. Cette méthode est donc plus efficace pour les grands espaces d'état. Nous généralisons les algorithmes Relaxed Value Computation (RVC) et Momentum Value Computation (MVC) au cadre de la récompense moyenne en utilisant un opérateur de Bellman projeté, à condition que la chaîne de Markov sous-jacente soit réversible avec des valeurs propres connues. Sans accélération ni réversibilité, la distance de notre estimateur au point fixe est bornée par $O(min(|lambda_{min}|, |lambda_{max}|)^k)$, où $lambda_{min}$ et $lambda_{max}$ désignent respectivement la plus petite et la seconde plus grande valeur propre. Pour RVC et MVC sur une chaîne de Markov réversible, ces distances sont bornées respectivement par $O((1-kappa)/(1+kappa)^k)$ et $O((1-sqrt{kappa})/(1+sqrt{kappa})^k)$, avec $kappa = (1-lambda_{max}) / (1-lambda_{min})$.

Computational costs, power usage, and training times limit the accessibility and scalability of reinforcement learning (RL). Whereas traditional RL algorithms are designed to handle a wide range of problems without specialized insights, incorporating problem-specific knowledge can improve performance and data efficiency. We address three specific problems - admission control in queues, electricity storage management, and acceleration of the bias function computation - and design algorithms that exploit their inherent structures to improve efficiency. We model the admission control problem as an $M/M/c/S$ queue with $m$ job classes. Each accepted job provides a class-specific reward, and the system incurs class-dependent holding costs. The arrival rates are unknown. For this problem, it is known that optimal policies have a threshold structure, setting an occupancy threshold for each class: a job is accepted if the current system occupancy is below its class threshold; otherwise, it is rejected. Prior work exploiting this threshold structure only offers asymptotic convergence to an optimal policy. We propose a model-based algorithm that achieves a finite-time bound on the expected regret. The dominant term of this bound is $O(Slog T + sqrt{mTlog T})$, where $T$ is the total running time. This algorithm exploits the queuing structure by learning the arrival rates. It follows the principle of Optimism in the Face of Uncertainty and computes the policy that maximizes the average reward for the Markov decision process (MDP) with the most favorable plausible arrival rates. The regret guarantee is further improved using bounds on the value function. In the electricity storage optimization problem, we consider a consumer with stochastic electricity demand and production, and a battery. The consumer controls the charging and discharging of the battery. Electricity can be either sold to the grid or purchased from it when production and battery are insufficient to cover demand. The electricity bill consists of energy charges and demand charges. Energy charges represent the cost of energy purchased from the grid. We assume time-dependent deterministic electricity prices. Demand charges are proportional to the maximum power demand of the consumer throughout the time horizon (e.g., one day or one month), reflecting the impact of the user on the grid. We design an RL algorithm for a non-linear battery model. It operates under the assumption of an available battery simulator and decomposes state transitions into stochastic and deterministic components to perform offline exploration. The result is a fast-training algorithm that requires minimal observational data by effectively exploiting the collected observations. We apply this algorithm to real-world data. Finally, we focus on accelerating the estimation of the bias function for the average reward criterion. Assuming an MDP with a finite state space of size n and known eigenvalues of the transition matrix under a fixed policy, the Policy Iteration algorithm typically requires $O(n^3)$ operations for an exact evaluation. In contrast, Modified Policy Iteration reduces costs by using approximations of the bias functions, requiring only $O(n^2)$ computations per iteration. This method is therefore more efficient for large state spaces. We generalize the Relaxed Value Computation (RVC) and Momentum Value Computation (MVC) algorithms to the average reward setting using a projected Bellman operator, provided that the underlying Markov chain is reversible with known eigenvalues. Without acceleration or reversibility, the distance of our estimator from the fixed point is bounded by $O(min(|lambda_{min}|, |lambda_{max}|)^k)$, where $lambda_{min}$ and $lambda_{max}$ represent the smallest and second-largest eigenvalues, respectively. For RVC and MVC applied to a reversible Markov chain, these distances are bounded by $O((1-kappa)/(1+kappa)^k)$ and $O((1-sqrt{kappa})/(1+sqrt{kappa})^k)$, respectively, with $kappa = (1-lambda_{max}) / (1-lambda_{min})$.