Optimisation et apprentissage du contrôle macroscopique de la forme des systèmes de basse dimension stochastiques et déterministes

Model-based and model-free macroscopic control of the shape of low-dimensional systems with stochastic and deterministic dynamics

• Auteur / Autrice : Francesco Boccardo
• Direction : Olivier Pierre-Louis
• Type : Thèse de doctorat
• Discipline(s) : Physique
• Date : Soutenance le 31/03/2022
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale de Physique et Astrophysique de Lyon (Lyon ; 1991-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Claude Bernard (Lyon ; 1971-....)
• Partenaire(s) de recherche : Laboratoire : Institut Lumière Matière
• Jury : Président / Présidente : Catherine Barentin
• Jury : Examinateurs / Examinatrices : Olivier Pierre-Louis, Nicolas Combe, Médéric Argentina, Laëtitia Matignon, Francesco Montalenti
• Jury : Rapporteur / Rapporteuse : Nicolas Combe, Médéric Argentina

Mots clés

Mots clés contrôlés

Dynamique non-linéaire

Équations d'Allen-Cahn

Markov, Processus de

Physique statistique

Mots clés libres

Nanoclusters

Physique statistique hors équilibre

Problèmes de premier passage

Dynamique non linéaire et instabilités

Processus de décision de Markov

Apprentissage par renforcement

Programmation dynamique

Équation de Allen-Cahn

Nanoclusters

Nonequilibrium statistical physics

First passage processes

Nonlinear dynamics and instabilities

Markov decision processes

Reinforcement learning

Dynamic programming

Allen-Cahn equation

Résumé

Cette thèse explore le contrôle de la morphologie de systèmes physiques étendus mettant en jeu une dynamique stochastique ou nonlinéaire. Plus précisément, nous nous sommes intéressés au problème d'atteinte en temps fini une morphologie cible aussi arbitraire que possible grâce à des méthodes de contrôle ''basées sur un modèle'' ou ''sans modèle''. Dans l'approche basée sur les modèles, la connaissance complète des lois qui régissent le système est exploitée pour calculer une stratégie de contrôle optimale. Si cette connaissance n'est pas disponible, on peut apprendre une stratégie de contrôle par l’approche sans modèle en interagissant avec le système dynamique lui-même et en ''renforçant'' les actions qui maximisent un certain signal de récompense. Nous avons appliqué le contrôle basé sur un modèle au cas de petits îlots bidimensionnels de quelques particules sous l'effet d'un champ macroscopique extérieur, tel qu’un champ électrique ou un gradient de température, qui joue le rôle de paramètre de contrôle. Ce modèle décrit des amas mono-couche d’atomes, de nanoparticules, ou de colloïdes. Nous avons considéré le cas d’une dynamique régie par la diffusion stochastique des particules le long de la périphérie de l’îlot, qui conserve donc le nombre de particules pendant la dynamique. L’atteinte d’une forme cible pour l’îlot peut être vue comme un problème de premier passage dans l’espace des configurations, et le choix du champ peut être étudié dans le cadre des processus de décision Markoviens. Le nombre fini de configurations nous permet d'appliquer des algorithmes tabulaires (qui listent l’ensemble des états du système dans un tableau). Nous avons également dérivé quelques résultats analytiques à l’aide d’un développement à haute température. En l’absence de champ externe, nous avons montré que les formes compactes suffisamment grandes présentent une température optimale à laquelle elles sont atteintes en un temps minimum. En présence de champ, nous avons utilisé la méthode de ''programmation dynamique'' pour résoudre le processus de décision Markovien et trouver une stratégie optimale pour atteindre les formes cibles dans un temps minimal. Cette stratégie entraîne un gain de temps qui croît lorsqu’on augmente la taille des îlots ou que l’on diminue la température. Par ailleurs, la stratégie optimale n'est pas unique, et sa dégénérescence est principalement liée aux symétries du système. De plus, la stratégie optimale présente un ensemble discret de transitions lorsque la température varie. Quand la taille du cluster augmente, une densité continue de transitions émerge. Avec le contrôle sans modèle, nous avons modélisé une situation qui mime un dispositif expérimental, où un contrôleur automatisé apprend à manipuler un petit îlot. Nous avons montré que les méthodes d'apprentissage par renforcement de type Monte Carlo et Q-learning permettent en général d'atteindre des performances de contrôle proches des performances optimales calculées par programmation dynamique, sauf à haute température où les fluctuations sont importantes et l’influence du champ extérieur est faible. Enfin, nous avons étudié le contrôle sans modèle de la morphologie de systèmes déterministes. Le contrôle est obtenu en ajustant un paramètre global qui gouverne la stabilité du système, tel que l’écart de température par rapport au point critique dans un système subissant une transition de phase. Dans le cadre d'un modèle unidimensionnel basé sur une généralisation de l'équation d'Allen-Cahn (ou Ginzburg-Landau dépendante du temps), nous avons pu contrôler le nombre de domaines apparaissant dans le système en utilisant des techniques d'approximation basées sur des réseaux de neurones (Deep Q-learning). Des résultats préliminaires aussi ont permis de classifier les forme de domaines subissant une instabilité de digitation obtenues par un modèle de champ de phase bidimensionnel, un résultat qui marque un premier pas vers le contrôle morphologique de ces systèmes.

This thesis explores the control of the morphology of extended physical systems involving stochastic or nonlinear dynamics. More precisely, we are interested in the problem of achieving in finite time a target morphology that is as arbitrary as possible through ''model-based'' or ''model-free'' control methods. In the model-based approach, complete knowledge of the laws governing the system is exploited to compute an optimal control strategy. If this knowledge is not available, a control strategy can be learned by the model-free approach by interacting with the dynamic system itself and ''reinforcing'' the actions that maximize a certain reward signal. We have applied model-based control to the case of small two-dimensional islands of a few particles under the effect of an external macroscopic field, such as an electric field or a temperature gradient, which acts as a control parameter. This model describes single-layer clusters of atoms, nanoparticles, or colloids. We considered the case of a dynamics governed by stochastic diffusion of particles along the periphery of the island, which thus conserves the number of particles during the dynamics. Reaching a target shape for the island can be seen as a first-passage problem in the space of configurations, and the choice of the field can be studied in the framework of Markov decision processes. The finite number of configurations allows us to apply tabular algorithms (which list all the states of the system in an array). We have also derived some analytical results using a high temperature expansion. In the absence of external field, we showed that sufficiently large compact shapes have an optimal temperature at which they are reached in minimum time. In the presence of field, we used the so-called dynamic programming method to solve the Markov decision process and find an optimal strategy to reach the target shapes in minimum time. This strategy results in a time gain that increases when increasing the size of the islands or decreasing the temperature. Moreover, the optimal strategy is not unique, and its degeneracy is mainly related to the symmetries of the system. Furthermore, the optimal strategy has a discrete set of transitions as the temperature varies. As the cluster size increases, a continuous density of transitions emerges. With model-free control, we modeled a situation that mimics an experimental setup, where an automated controller learns to manipulate a small island. We have shown that the reinforcement learning methods of Monte Carlo and Q-learning type allow in general to reach control performances close to the optimal performances computed by dynamic programming, except at high temperature where the fluctuations are important and the influence of the external field is weak. Finally, we have studied the model-free control of the morphology of deterministic systems. The control is obtained by adjusting a global parameter that governs the stability of the system, such as the temperature difference from the critical point in a system undergoing a phase transition. In the framework of a one-dimensional model based on a time-dependent generalization of the Allen-Cahn (or Ginzburg-Landau) equation, we have been able to control the number of domains appearing in the system by using neural network-based approximation techniques (Deep Q-learning). Preliminary results have also allowed us to classify the shape of domains undergoing a fingering instability obtained by a two-dimensional phase field model, a result that marks a first step towards the morphological control of these systems.