Obtenir un contrôle fiable : robustesse et stabilité des systèmes non linéaires grâce aux lois des commandes basée sur les DNNs

Achieving reliable control : robustness and stability in nonlinear systems via DNN-based feedback design

• Auteur / Autrice : Samuele Zoboli
• Direction : Vincent Andrieu, Jilles Steeve Dibangoye, Daniele Astolfi
• Type : Thèse de doctorat
• Discipline(s) : Automatique
• Date : Soutenance le 28/09/2023
• Etablissement(s) : Lyon 1
• Ecole(s) doctorale(s) : École doctorale Électronique, électrotechnique, automatique (Lyon)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Automatique, de Génie des Procédés et de génie Pharmaceutique (Lyon)
• Jury : Président / Présidente : Bernhard Maschke
• Jury : Examinateurs / Examinatrices : Vincent Andrieu, Marc Jungers, Christopher Michael Kellett, Maryam Kamgarpour, Sophie Cerf
• Jury : Rapporteur / Rapporteuse : Marc Jungers, Christopher Michael Kellett

Mots clés

Mots clés contrôlés

Commande, Théorie de la

Apprentissage par renforcement (intelligence artificielle)

Réseaux neuronaux (informatique)

Systèmes non linéaires

Mots clés libres

Systèmes non linéaires

Robustesse

Stabilité

Réseaux de neurones profonds

Contraction

Synchronisation multi-agent

Apprentissage par renforcement

Nonlinear systems

Robustness

Stability

Deep neural networks

Contraction

Multi-agent synchronization

Reinforcement learning

Résumé

Cette thèse se concentre sur l'intégration des garanties de robustesse et de stabilité dans les contrôleurs de rétroaction modélisés par des réseaux de neurones profonds (DNNs), parfois nommés contrôleurs neuronaux. L'objectif principal est de combiner les outils d'apprentissage automatique et les approches de la théorie du contrôle pour dériver des contrôleurs neuronaux avec des garanties théoriques. Dans la première partie du manuscrit, nous étudions comment la théorie du contrôle peut être utilisée pour équiper les approches d'apprentissage de contrôleurs avec des garanties de stabilité et de robustesse. Une question clé est le défi de comprendre si ces lois de contrôle, entraînée dans des environnements simulés, peuvent fournir des garanties de stabilité et les maintenir dans des scénarios du monde réel. Par conséquent, la première partie de ce manuscrit se concentre sur les systèmes non linéaires à temps discret. Le premier chapitre étudie la robustesse aux incertitudes du modèle. Nous établissons des conditions pour le transfert des propriétés de stabilité basées uniquement sur les normes des erreurs entre modèles. Nous montrons que l'existence et la stabilité des points d'équilibre pour un système nominal impliquent l'existence et la stabilité des points d'équilibre pour des systèmes similaires. Nous justifions ainsi l'utilisation de simulateurs pour l’entraînement de contrôleurs neuronaux destinés à des scénarios réels. Ces résultats motivent aussi l'utilisation d'intégrateurs pour améliorer la robustesse des contrôleurs à temps discret, pour lesquels il n'existe actuellement aucune justification formelle. Dans le deuxième chapitre, nous étudions comment les propriétés de stabilité peuvent être intégrées dans les lois de rétroaction basées sur les DNNs. Nous proposons une méthodologie qui intègre des garanties de stabilité locale dans ces contrôleurs, indépendamment de leur algorithme d'apprentissage ou du temps. En combinant des lois de contrôle locales avec des DNNs, notre approche permet de développer des contrôleurs neuronaux robustes et stabilisantes. Dans le troisième chapitre, nous passons de l'étude de la stabilité robuste des points d'équilibre à celle des trajectoires. Plus précisément, nous examinons le concept de stabilité incrémentale pour les systèmes non linéaires à temps discret. Nous présentons des contrôleurs basés sur la théorie de la contraction en temps discret et nous les appliquons au problème de la synchronisation multi-agents. En établissant un lien entre les contrôleurs proposés et la solution d'un problème d'optimisation, nous ouvrons la voie à la dérivation de contrôleurs neuronales qui garantissent une convergence robuste vers des trajectoires uniques. La deuxième partie du manuscrit explore la direction inverse en étudiant comment les outils d'apprentissage automatique peuvent aider à l'application des contrôleurs dérivés de la théorie du contrôle, sans compromettre leurs propriétés. Nous nous concentrons sur la dérivation de contrôleurs neuronaux contractants pour les systèmes non linéaires à temps continu. Nous regardons les contrôleurs basés sur des métriques Riemanniennes car leur calcul analytique est généralement difficile. Dans le quatrième chapitre de cette thèse, nous étudions comment les contrôleurs basés sur les DNNs peuvent aider à surmonter cet obstacle de calcul. Nous dérivons de nouvelles lois analytiques qui peuvent être directement approximées avec des DNNs. Enfin, le chapitre 5 introduit le concept de k-contraction en tant que généralisation de la notion de contraction. L'objectif est de fournir une meilleure compréhension géométrique des propriétés exhibées par une dynamique contractive. Nous proposons un remaniement des définitions existantes, adapté spécifiquement à des fins de contrôle. Ce faisant, nous faisons un pas vers le développement de contrôleurs (éventuellement basés sur des DNNs) qui peuvent appliquer un riche ensemble de comportements en boucle fermée.

This thesis focuses on the integration of robustness and stability guarantees in feedback controllers modeled by deep neural networks (DNNs), also known as neural controllers. The main objective is to combine machine learning tools and control theoretic approaches to derive neural controllers with strong theoretical guarantees. In the first part of the manuscript, we investigate how control theory results can be used to enhance modern learning-to-control approaches with stability and robustness guarantees. One key issue is the challenge of understanding whether these control laws, trained in simulated environments, can provide stability guarantees and maintain them in real-world scenarios. Therefore, the first part of this manuscript focuses on discrete-time nonlinear. The first chapter studies robustness to model uncertainties. We establish conditions for the transfer of stability properties based solely on norms of model mismatches. This analysis determines whether the existence and stability of equilibrium points for a nominal system imply the existence and stability of equilibrium points for sufficiently similar systems. In turn, we justify the use of accurate simulators for training neural controllers that are intended for real-world scenarios. Moreover, these results motivate the use of integrators to enhance the robustness of discrete-time controllers (including learned ones), for which formal justification is currently absent in the literature. In the second chapter, we investigate how guaranteed stability properties can be embedded in DNN-based feedback designs. Our objective is to propose an algorithm-agnostic methodology that incorporates local stability guarantees in such controllers, independently from their training process or time. To achieve this, we combine local guaranteed control laws with DNNs. Our approach enables the development of robustly stabilizing neural controllers. In the third and last chapter of the first part of this thesis, we shift our focus from the study of robust stability of equilibrium points to the one of trajectories. Specifically, we examine the concept of incremental stability for discrete-time nonlinear systems. We present novel results on the design of incrementally stabilizing feedback controllers based on discrete-time contraction theory and we apply them to the problem of multi-agent synchronization. By establishing a link between the proposed controllers and the solution of an optimization problem, we pave the way for the future derivation of neural control laws that guarantee robust convergence to unique trajectories. The second part of the manuscript explores the reverse direction by investigating how machine learning tools can assist in the application of control theoretic feedback designs without compromising their stabilizing properties. Specifically, we focus on deriving incrementally stabilizing neural controllers based on contraction analysis for continuous-time nonlinear systems. In continuous-time, controllers based on Riemannian metrics have been proposed to enforce contraction of closed-loop systems. Unfortunately, their analytical computation is typically challenging. In the fourth chapter of this thesis, we investigate how DNN-based controllers can help overcome this computational obstacle. We derive new closed-form feedback designs that can be directly approximated using DNNs. Motivated by the aforementioned results, Chapter 5 introduces the concept of k-contraction as a generalization of the notion of contraction. The objective is to provide a broader geometrical understanding of the properties exhibited by contractive dynamics. We propose a reworking of existing definitions, tailored specifically for feedback design purposes. By doing so, we shed light on the geometric interpretation of k-contraction and take an initial step towards developing controllers (possibly DNN-based) that can enforce a rich set of closed-loop behaviors.