Stabilisation et contrôle des systèmes dynamiques : des méthodes classiques à l’apprentissage par renforcement

Stabilization and control of dynamic systems : from classical methods to reinforcement learning

• Auteur / Autrice : Nathan Lichtlé
• Direction : Amaury Hayat, Alexandre M. Bayen
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 03/12/2024
• Etablissement(s) : Marne-la-vallée, ENPC
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-....)
• Partenaire(s) de recherche : Laboratoire : Centre d'enseignement et de recherche en mathématiques et calcul scientifique (Champs-sur-Marne, Seine-et-Marne)
• Jury : Président / Présidente : Romuald Elie
• Jury : Examinateurs / Examinatrices : Amaury Hayat, Alexandre M. Bayen, Christophe Prieur, Sharon Di, Benedetto Piccoli, Maria Laura Delle Monache, Axel Parmentier
• Jury : Rapporteurs / Rapporteuses : Christophe Prieur, Sharon Di
• DOI : 10.70675/608e2470z5716z4788z91f2z286ac766f15b

Mots clés

Mots clés contrôlés

Fonctions de Liapounov

Véhicules autonomes

Biologie

Mots clés libres

Stabilisation

Apprentissage par renforcement

Fonctions de Lyapunov

Saint Venant

Véhicules autonomes

Trafic

Stabilization

Reinforcement learning

Lyapunov functions

Saint Venant

Autonomous vehicles

Traffic

Résumé

Cette thèse explore l'application de l'apprentissage par renforcement (RL) et de la théorie du contrôle dans plusieurs systèmes évolutifs tels que la stabilisation du trafic, la lutte antiparasitaire et la dynamique des fluides. Elle commence par une investigation théorique sur la stabilité du système de Saint-Venant avec un terme de viscosité ajouté, construisant une fonction de Lyapunov quadratique pour démontrer la stabilité exponentielle du système linéarisé visqueux sous un contrôle aux frontières approprié. La fonction de Lyapunov optimale dans le cas non visqueux ne s'étend pas au système avec viscosité, d'où la nécessité d'en construire une nouvelle. Cela contribue à la compréhension du comportement des flux réels, où la viscosité est omniprésente. La thèse passe ensuite à la recherche appliquée en RL, en se concentrant sur la lutte biologique contre les nuisibles en utilisant la Technique de l'Insectes Stérile. Ici, le RL est utilisé pour entraîner un réseau de neurones à stabiliser les populations de moustiques en déterminant le taux de lâcher optimal d'insectes stériles. Une analyse mathématique s'ensuit, aboutissant à une loi de contrôle simplifiée et explicite dérivée du modèle entraîné par RL, constituant une approche innovante pour dériver des contrôles mathématiques pour des problèmes complexes avec des observations limitées en utilisant des méthodes basées sur les réseaux neuronaux. Enfin, une partie significative de cette dissertation étudie le potentiel du RL dans la stabilisation du trafic, en particulier dans la réduction de la consommation de carburant et des émissions de CO2 sur les autoroutes en atténuant les ondes d'arrêt-démarrage. En collaboration avec le consortium CIRCLES, ce travail développe des contrôleurs RL pour les véhicules autonomes (AV) afin de stabiliser le flux de trafic, menant à des améliorations substantielles en matière d'efficacité énergétique, d'émissions et de sécurité. La thèse démontre que même une petite proportion d'AV contrôlés par RL peut lisser les perturbations du trafic. Les contrôleurs sont conçus et entraînés en simulation en utilisant des algorithmes RL, puis validés dans des simulations à grande échelle et des déploiements réels lors de l'expérience MegaVanderTest, un test sur le terrain massif de 100 AV dans un trafic autoroutier dense en conditions réelles. Ce déploiement à grande échelle est le premier du genre, appliquant avec succès le RL aux conditions réelles du trafic et offrant des résultats prometteurs en matière d'économies d'énergie et d'amélioration du flux de trafic. Dans l'ensemble, ce travail met en évidence la polyvalence du RL dans la résolution de problèmes complexes du monde réel, de l'optimisation du trafic à la lutte biologique, repoussant les limites des méthodologies de contrôle théoriques et appliquées.

This thesis explores the application of reinforcement learning (RL) and control theory in several evolution systems such as traffic stabilization, pest control, and fluid dynamics. It begins with a theoretical investigation into the stability of the Saint-Venant system with an added viscosity term, building a quadratic Lyapunov function to demonstrate the exponential stability of the viscous linearized system under appropriate boundary control. The optimal Lyapunov function in the non-viscous case does not extend to the system with viscosity, fueling the need to build a new one. This adds to the understanding of real-world flow behavior, where viscosity is ubiquitous.The thesis then transitions to applied research in RL, focusing on biological pest control using the Sterile Insect Technique. Here, RL is used to train a neural network to stabilize mosquito populations by determining the optimal release rate of sterile insects. A mathematical analysis follows, resulting in a simplified, explicit control law derived from the RL-trained model, making for an innovative approach to derive mathematical controls for complex problems with limited observations using neural network based methods.At last, a significant portion of this dissertation investigates the potential of RL in traffic stabilization, particularly in reducing fuel consumption and CO2 emission on highways by dampening stop-and-go waves. In collaboration with the CIRCLES consortium, this work develops RL controllers for autonomous vehicles (AVs) to stabilize traffic flow, leading to substantial improvements in fuel efficiency, energy emissions, and safety. The thesis demonstrates that even a small proportion of RL-controlled AVs can smooth out traffic disturbances. Controllers are designed and trained in simulation using RL algorithms, then validated in large-scale simulations and real-world deployments in the MegaVanderTest experiment, a massive 100 AVs field test in live busy highway traffic. This large-scale deployment is the first of its kind, successfully applying RL to real-world traffic conditions and offering promising results in energy savings and traffic flow improvement.Overall, this work highlights the versatility of RL in solving complex real-world problems, from traffic optimization to biological control, pushing the boundaries of both theoretical and applied control methodologies.