Intelligence artificielle et contrôle des plasmas de fusion : application au tokamak WEST

Artificial intelligence and fusion plasma control : application to the WEST tokamak

• Auteur / Autrice : Samy Kerboua-Benlarbi
• Direction : Blaise Faugeras, Rémy Nouailletas
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 05/11/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences fondamentales et appliquées
• Partenaire(s) de recherche : Laboratoire : Laboratoire J.-A. Dieudonné (Nice)
• Jury : Président / Présidente : Laurent Lefèvre
• Jury : Examinateurs / Examinatrices : Blaise Faugeras, Rémy Nouailletas, Laurent Lefèvre, Federico Felici, Sylvain Lamprier, Olivier Sauter
• Jury : Rapporteurs / Rapporteuses : Federico Felici, Sylvain Lamprier

Mots clés

Mots clés contrôlés

Probabilités

Traitement réparti

Réseaux neuronaux (informatique)

Fusion nucléaire par confinement magnétique

Tokamaks

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Apprentissage par renforcement

Contrôle des tokamaks

Réseaux de neurones

Calcul distribué

Inférence probabiliste

Reinforcement learning

Tokamak control

Neural networks

Distributed computing

Probabilistic inference

Résumé

La fusion dans un plasma magnétiquement confiné relève encore du domaine de la recherche fondamentale : en plus de la nécessaire progression de nos connaissances théoriques, l'opération des tokamaks actuels reste délicate, car elle nécessite un effort humain substantiel à chaque fois qu'un nouveau scénario expérimental est mis au point. En outre, la combinaison habituelle de rétroactions linéaires et de contrôle en boucle ouverte, n'est pas suffisamment robuste quant au comportement non linéaire des dynamiques du plasma. L'approche en question n'est donc pas compatible avec la fiabilité d'un futur réacteur, et un meilleur contrôle du plasma est nécessaire par le biais d'algorithmes de contrôle utilisant des connaissances plus théoriques ou empiriques. Récemment, l'apprentissage par renforcement a démontré son utilité dans de nombreux domaines, notamment le contrôle des tokamaks. Par essai-erreur, un agent interagit sur un environnement, pour apprendre une politique décisionnelle maximisant une récompense formalisant les tâches à accomplir. Une fois associé aux réseaux de neurones, l'apprentissage par renforcement profond devient un candidat pertinent pour répondre à ces situations en grande dimension, aux nombreuses incertitudes, et non linéaires. Ces travaux visent à appliquer et étendre ces méthodes au tokamak WEST, au travers du développement d'une plateforme logicielle pour entraîner un agent sur code d'équilibre à frontière libre, qui simule l'équilibre magnétique et l'évolution des profils au cœur du plasma. Le contrôle magnétique par rétroaction de la forme, de la position et du courant du plasma est alors réalisé sur plusieurs scénarios de contrôle, avec des temps d'entraînements considérablement réduits grâce à l'utilisation de l'apprentissage par curriculum. Plusieurs procédures sont discutées, non seulement pour améliorer la généralisation au sein du domaine opérationnel du système de contrôle temps-réel de WEST, mais aussi pour explorer la robustesse des agents appris par renforcement face aux perturbations et aux incertitudes du plasma. Les résultats obtenus offrent de nombreuses perspectives en faveur de l'apprentissage par renforcement et de l'intelligence artificielle pour une utilisation routinière dans les opérations d'un dispositif de fusion magnétiquement confiné. Les liens inhérents établis entre l'apprentissage par renforcement et le contrôle classique sont étayés, et pourraient conduire à une meilleure interprétabilité des réseaux de neurones en tant que politiques puissantes et robustes, potentiellement capables de gérer un plus grand nombre d'actionneurs et d'objectifs pendant de longues décharges de plasma.

Fusion in a magnetically confined plasma is still in the realm of fundamental research: in addition to the necessary progress in our theoretical knowledge, the operation of current tokamaks remains delicate, as it requires substantial human effort each time a new experimental scenario is developed. Moreover, the usual combination of linear feedback and feedforward control is not very robust with respect to the non-linear behavior of plasma dynamics. The overall approach is then not compatible with the reliability of a future reactor, and a better control of the plasma is necessary through control algorithms using more theoretical or empirical knowledge. Recently, Reinforcement Learning (RL) has demonstrated its usefulness in many fields, notably tokamak control. By trial-and-error, an agent interacts on an environment, to learn a behavioral policy maximizing a reward which formalizes the overall objectives. Paired with neural networks, deep reinforcement learning becomes a suitable candidate to fulfill these high-dimensional, uncertain and non-linear situations. This thesis aims at applying and extending the said methods on the WEST tokamak, with the development of a general framework to train an agent on a free-boundary equilibrium solver, which simulates the magnetic equilibrium and core profiles evolution. Magnetic feedback control of plasma's shape, position, and current is achieved on multiple control scenarios, with training times significantly reduced by the use of curriculum learning. Several procedures are discussed, not only to enhance generalization within the operational domain of the WEST real-time control system, but also to explore the robustness of RL agents against disturbances and plasma uncertainties. The obtained results offer many perspectives in favor of reinforcement learning and artificial intelligence for routine use in the operations of a magnetically confined fusion device. The inherent connections drawn between RL and classical control are studied, and could lead to a more interpretable use of neural networks as powerful and robust policies, potentially able to manage more actuators and objectives during long plasma discharges.