Des méthodes d'apprentissage pour le contrôle des systèmes dynamiques : application en dynamique des fluides

On Learning-based Control of Dynamical Systems: Application to Computational Fluid Dynamics

• Auteur / Autrice : Rémy Hosseinkhan boucher
• Direction : Anne Vilnat
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/12/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Equipe de recherche : DATAFLOT - Dynamique des Fluides et Modélisation augmentée
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Contrôle Optimal

Statistiques

Théorie de l'Information

Mécanique des fluides

Apprentissage par Renforcement

Fluids Mechanics

Information Theory

Optimal Control

Reinforcement Learning

Statistics

Résumé

Les besoins environnementaux ravivent l'intérêt de la recherche dans de nombreux domaines de l'ingénierie. Un exemple probant est fourni par les émissions de dioxyde de carbone, largement considérées comme l'une des principales causes du réchauffement climatique. Cette urgence s'étend à de nombreuses applications, dont l'aéronautique, où il est reconnu que l'optimisation des écoulements aérodynamiques peut avoir un impact profond sur la réduction des émissions de polluants, l'atténuation du bruit acoustique ou le contrôle de conditions très complexes telles que la séparation. En principe, les stratégies de contrôle de l'écoulement permettent d'optimiser l'écoulement en temps réel, en tirant parti des mesures des capteurs et des modèles physiques ; en pratique, dans des cas réalistes, cette technique n'est utilisée que dans des cas numériques et expérimentaux limités. Relever ces défis en déployant des outils d'apprentissage automatique [13] et, plus particulièrement, l'apprentissage par renforcement (RL) [68] peut représenter un élément clé. Par définition, l'apprentissage par renforcement étudie comment utiliser les données passées pour améliorer la manipulation future d'un système dynamique [58]. Cette description s'applique de manière équivalente dans la théorie du contrôle standard, où l'objectif est d'optimiser les performances d'un système sur la base des mesures en combinaison avec des modèles antérieurs. En effet, les deux disciplines ont évolué en parallèle, conduisant au co-développement de différentes approches à des problèmes similaires [8, 41] ; les racines communes peuvent être trouvées dans la programmation dynamique (DP), un protocole d'optimisation non linéaire basé sur l'équation de Bellman [5]. La solution de l'équation de Bellman est la fonction de valeur, une fonction non linéaire, à partir de laquelle on peut déterminer la politique optimale. Dans la plupart des cas, l'équation de Bellman s'avère peu pratique sur le plan informatique lorsque des méthodes directes, basées sur un modèle, sont appliquées [41]. Cependant, les méthodes itératives peuvent être utilisées avec ou sans modèle préalable [68] : les algorithmes sans modèle sont compris dans le RL. Ces algorithmes sont itératifs, entièrement basés sur les données et reposent uniquement sur des mesures limitées ; la modélisation est remplacée par l'exploration : l'espace d'état du système est appris en utilisant les données passées extraites des mesures et des interactions du système ou de l'agent avec l'environnement. L'ensemble de toutes les actions que l'agent peut réaliser dans un environnement est appelé espace d'action. La politique de contrôle est déterminée à partir de l'exploration de l'espace état-action : dans la limite de la connaissance totale de cet espace, la politique résultante est optimale par la maximisation d'une fonction de récompense [8, 41]. L'absence de modèle permet de contourner certains inconvénients de la commande basée sur un modèle ; par exemple, les approximations basées sur des modèles d'ordre réduit du système physique pour répondre à des contraintes en temps réel peuvent perdre leur précision de manière critique lorsque la commande est appliquée, ce qui entraîne de mauvaises performances et un manque de robustesse. Un autre ingrédient est représenté par les réseaux de neurones artificiels (ANN), aujourd'hui utilisés de manière efficace pour l'apprentissage supervisé et non supervisé dans des secteurs très divers, allant de la neurobiologie à la physique ou aux sciences sociales [25]. La combinaison des ANN pour l'approximation de la politique et de la fonction de valeur, avec le RL a conduit au Deep Reinforcement Learning (DRL). D'un point de vue historique, l'application des ANN n'est pas nouvelle, puisqu'elle était déjà suggérée dans des travaux fondamentaux sur le sujet [8] ; les développements récents dans le domaine de l'apprentissage profond et les performances surhumaines obtenues par le DRL dans la résolution de jeux tels que le go et le shogi [65] ont renforcé la popularité de cette approche. Avec la grande disponibilité de paquets open-source, c'est aussi l'une des raisons pour lesquelles le DRL est souvent considéré 'seulement' comme l'un des principaux sous-domaines de l'apprentissage automatique (ML) et utilisé comme une boîte noire. Cette perspective limitée risque toutefois d'être plutôt simpliste, car l'apprentissage automatique est bien ancré dans la théorie du contrôle optimal et, de par ses caractéristiques, il pourrait jouer un rôle clé dans des défis technologiques tels que le développement de voitures sans conducteur ou l'apprentissage auto-supervisé. En ce sens, une application naïve de ces algorithmes en combinaison avec des expédients d'ingénierie a posteriori ne permet pas un déploiement complet des potentialités de la RL. Dans cette optique, l'objectif du projet est de relier la LR au contrôle de flux afin de relever les défis qui ont limité le succès des outils de contrôle standard dans les flux non linéaires et complexes. Nous pouvons détailler comme suit les trois principaux objectifs de la proposition : 1. Développer des stratégies robustes de contrôle de flux en utilisant RL, en intégrant dans ce cadre des techniques efficaces d'apprentissage/estimation, de physique et d'analyse. d'apprentissage/estimation, les contraintes physiques et les outils de la théorie du contrôle. 2. Tester les stratégies RL en les comparant au contrôle optimal dans des modèles simplifiés de complexité croissante de la mécanique des fluides. modèles simplifiés de complexité croissante d'intérêt pour la mécanique des fluides. 3. Démonstrations finales à l'aide de simulations numériques d'écoulements de cisaillement transitoires à Reynolds modéré.

Environmental needs are invigorating research interest in many engineering fields. A compelling example is provided by carbon-dioxide emissions, widely considered one of the main causes of global warming. This urgency extends to numerous applications including aeronautics, where it is recognized that the optimization of aerodynamic flows may have a deep impact on the reduction of pollutant emissions, mitigation of acoustic noise or control of highly complex conditions such as separation. In principle, flow control strategies allow to optimize the flow in real time, leveraging sensor measurements and physical models; in practice, in realistic cases, this technique is used only in limited numerical and experimental cases. Tackling these challenges by deploying machine learning tools [13] and, more specifically, Reinforcement Learning (RL) [68] may represent a key-enabler. By definition, Reinforcement Learning studies how to use past data to enhance the future manipulation of a dynamical system, [58]. This description applies equivalently in standard control theory, where the aim is to optimize the performance of a system based on the measurements in combination with prior models. Indeed, the two disciplines evolved in parallel, leading to the co-development of different approaches to similar problems [8, 41]; the common roots can be found in dynamic programming (DP), a nonlinear optimization protocol based on the Bellman equation [5]. The solution of the Bellman equation is the value function, a nonlinear function, from which we can determine the optimal policy. In most cases, the Bellman equation results to be computationally impractical when direct, model-based methods are applied [41]. However, iterative methods can be used with and without a prior model at hand [68]: the model-free algorithms are encompassed within RL. These algorithms are iterative, fully data-driven and solely relying on limited measurements; modeling is replaced by exploration: the state space of the system is learnt by using past data extracted from the measurements and the interactions of the system or agent with the environment. The set of all the actions the agent can act out in an environment is called action space. The control policy is determined from the exploration of the state-action space: in the limit of full knowledge of this space, the resulting policy is optimal upon the maximization of a reward function [8, 41]. The absence of a model allows to circumvent some drawbacks of model-based control; for instance, approximations based on reduced-order models of the physical system for meeting real-time constraints can critically lose accuracy when control is applied, resulting in poor performance and lack of robustness. A further ingredient is represented by artificial neural networks (ANN), nowadays used as effective workhorses for supervised and unsupervised learning in very diverse sectors, ranging from neurobiology, to physics or social sciences [25]. The combination of ANN for the approximation of the policy and the value function, with RL led to the Deep Reinforcement Learning (DRL). From the historical viewpoint, the application of ANN is not new, as it was already suggested in seminal works on the subject [8]; the recent developments in the field of deep learning and the super–human performances achieved by DRL in solving games such as go and shogi [65] boosted the popularity of the approach. Together with the vast availability of open–source packages, this is also one of the reasons for which DRL is often seen ”only” as one of the main sub-fields of Machine Learning (ML) and used as a black-box tool; however, this limited perspective risks to be rather simplistic as RL is well grounded in optimal control theory and for its features it might play a key role in technological challenges such as the development of driver-less cars or self-supervised learning. In this sense, a naıve application of these algorithms in combination with a-posteriori engineering expedients does not allow a full deployment of the potentialities of RL. With this in mind, the aim of the project is to bridge RL with Flow Control in order to tackle the challenges which have limited the success of standard control tools in nonlinear and complex flows. We can detail as follow the three main objectives of the proposal: 1. Develop of robust flow-control strategies using RL, integrating in this framework efficient techniques of learning/estimation, physics constraints and tools from control theory. 2. Test of the RL strategies by benchmarking them with optimal control in simplified models of increasing complexity of fluid mechanics interest. 3. Final demonstrations using numerical simulations of transitional shear flows at moderate Reynolds and experimental 3D bluff body wake-flows.