Contrôleurs statiques et structurés à mémoire et apprentissage par renforcement

Static and structured memory output feedback and reinforcement learning

• Auteur / Autrice : Eslam Mahmoud
• Direction : Saïd Mammar
• Type : Projet de thèse
• Discipline(s) : Automatique
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : IBISC - Informatique, BioInformatique, Systèmes Complexes
• Partenaire(s) de recherche : Equipe de recherche : SIAM : Signal, Image, AutoMatique
• Partenaire(s) de recherche : Référent : Université d'Évry-Val-d'Essonne (1991-....)

Mots clés

Mots clés libres

Reinforcement learning;

; Output-feedback

Chassis controle

Résumé

Tout système est par nature sujet à un certain nombre de phénomènes affectant son fonctionnement. Ces phénomènes peuvent prendre la forme de non-linéarités, de variations de paramètres, d'entrées de perturbations et de défauts. Le contrôle des différentes classes de systèmes a fait l'objet d'intenses recherches durant les trente dernières années. Nous pouvons citer à ce titre : la commande H∞, la commande prédictive, les commandes nonlinéaires par modes glisssants et bien d'autres. Les méthodes de synthèse se heurtent à plusieurs difficultés : l'obtention de conditions nécessaires et suffisantes qui faciliteraient la synthèse (conditions suffisantes souvent restrictives, contraintes nonlinéaires, problèmes non-convexes), la complexité des lois de commandes qui rendent impossible dans certains cas l'implantation pratique des lois de commande. Sur un autre plan, les techniques d'apprentissage par renforcement, en ligne et hors ligne ont démontré leur capacité à améliorer les performances et la robustesse des lois de commande face à la diversité des conditions de fonctionnement liées aux variabilités du système et de l'environnement C'est dans ce contexte que ce sujet de thèse ambitionne d'explorer plusieurs aspects théoriques de la commande dans une perspective d'application aux véhicule autonomes et coopératifs. A savoir : • Le développement de correcteurs par retour de sortie statique ou structuré qui permettent de simplifier et de rendre moins coûteuse l'implantation de la commande voire de tenir compte de contraintes structurelles liées à la physique d'un système (exemple mesures disponibles pour un véhicule dans un peloton de véhicules). • Le développement de correcteurs à mémoire en exploitant les capacités de stockage des calculateurs dans un objectifs d'amélioration des performances H2 et H∞. • Explorer les techniques d'apprentissage par renforcement en ligne pour améliorer la robustesse et les performances des lois de commande tout en les combinant pour la réduction du conservatisme. Les contributions de la thèse s'inscrivent dans le double objectif des apports méthodologiques en proposant de nouvelles conditions de synthèse, moins conservatives, et de l'application au cas des véhicules autonomes et coopératifs. Ainsi, les méthodes développées et les résultats obtenus seront appliqués de façon privilégiée au contrôle automatisés des véhicules routiers autonomes et coopératifs. Le système en tant que tel est non linéaire et présente des modes fortement couplés en propre et du fait des aspects coopératifs. Les approches prévues dans les étapes de développement se révèlent donc particulièrement adaptées à ce type d'application. Le laboratoire est équipé d'un véhicule instrumenté de type ZOE. Le doctorant aura à implanter et tester ses algorithmes.

By nature, every system is subject to a certain number of phenomena affecting its operation. These phenomena can take the form of nonlinearities, parameter variations, perturbation inputs, and faults. The control of different classes of systems has been the subject of intense research over the past thirty years. Examples of this include H∞ control, predictive control, nonlinear sliding mode control, and many others. Synthesis methods face several difficulties: obtaining necessary and sufficient conditions that would facilitate synthesis (often restrictive sufficient conditions, nonlinear constraints, non-convex problems), the complexity of control laws that make it impossible to implement them in some cases. On another level, online and offline reinforcement learning techniques have demonstrated their ability to improve the performance and robustness of control laws against the diversity of operating conditions related to system and environmental variability. It is in this context that this thesis aims to explore several theoretical aspects of control from the perspective of application to autonomous and cooperative vehicles. Namely: • The development of static or structured output feedback controllers that simplify and make control implementation less costly, or take into account structural constraints related to the physics of a system (e.g., measurements available for a vehicle in a platoon of vehicles). • The development of memory-based controllers by exploiting the storage capabilities of computers with the goal of improving H2 and H∞ performance. • Explore online reinforcement learning techniques to improve the robustness and performance of control laws while combining them to reduce conservatism. The contributions of the thesis fall within the dual objective of methodological contributions by proposing new, less conservative synthesis conditions and application to the case of autonomous and cooperative vehicles. Thus, the developed methods and the results obtained will be applied preferentially to the automated control of autonomous and cooperative road vehicles. The system as such is nonlinear and exhibits strongly coupled modes, both on its own and due to cooperative aspects. The approaches planned in the development stages are therefore particularly suitable for this type of application. The laboratory is equipped with an instrumented ZOE vehicle, and the doctoral student will have to implement and test the algorithms.