Apprentissage par renforcement pour la correction de surface d'onde en imagerie d'exoplanètes

Reinforcement learning for wavefront command in exoplanet imaging

• Auteur / Autrice : Yann Gutierrez
• Direction : Laurent Mugnier, Johan Mazoyer
• Type : Thèse de doctorat
• Discipline(s) : Astronomie et astrophysique d'Ile de France
• Date : Soutenance le 03/10/2025
• Etablissement(s) : Université Paris Cité
• Ecole(s) doctorale(s) : École doctorale Astronomie et astrophysique d'Île-de-France (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’instrumentation et de recherche en astrophysique (Meudon ; 2025-....)
• Jury : Président / Présidente : Florence Cloppet
• Jury : Examinateurs / Examinatrices : Lucie Leboulleux, Gilles Orban De Xivry, Guy Perrin
• Jury : Rapporteurs / Rapporteuses : Patrice Martinez, Romain Postoyan
• DOI : 10.70675/12bc8d88z307az40a0z8b00za8d9df0661ac

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Exoplanètes

Coronographes

Optique adaptative

Mots clés libres

Apprentissage par renforcement

Exoplanètes

Coronographie

Analyseur de surface d'onde

Reinforcement Learning

Exoplanets

Coronagraphy

Wavefront control

Résumé

L'imagerie directe est une méthode essentielle pour étudier la formation des systèmes planétaires et rechercher des biosignatures dans les atmosphères d'exoplanètes semblables à la Terre. Elle consiste à observer la lumière émise ou réfléchie par une exoplanète, mais se heurte à deux défis majeurs : la faible séparation angulaire entre la planète et son étoile, et le contraste extrême entre leurs flux lumineux. Le premier est surmonté par l'augmentation du diamètre des télescopes. Le second est atténué à l'aide d'un coronographe, instrument conçu pour filtrer la lumière stellaire tout en préservant celle de sources proches. Cependant, la présence d'aberrations quasi-statiques en amont du coronographe entraînent des fuites de lumière stellaire qui se manifestent sous forme de tavelures dans les images et peuvent masquer le signal planétaire. La minimisation des résidus stellaires aux niveaux de contraste visés impose une commande de la surface d'onde à des précisions sub-nanométriques. L'approche usuelle consiste à asservir le système en alternant des étapes d'estimation de la surface d'onde, à partir d'images acquises au plan focal scientifique, et des étapes de calcul d'une commande à appliquer à des miroirs déformables. Ces méthodes, qui reposent sur un modèle physique de l'instrument, permettent de creuser une zone sombre ¿ ou Dark Hole ¿ dans l'image coronographique, où le contraste est suffisant pour révéler un compagnon. Cependant, les erreurs liées à ces modèles limitent les performances actuelles en-dessous des exigences nécessaires pour l'imagerie d'exo-Terres. Par ailleurs, l'apprentissage par renforcement profond, à l'intersection de l'apprentissage profond et de la commande optimale, consiste à entraîner un agent autonome à sélectionner des actions à partir d'interactions avec son environnement, dans le but d'optimiser un signal de récompense. Combinée à des réseaux de neurones convolutifs capables d'extraire des relations complexes à partir d'images, cette approche fondée sur les données offre une alternative prometteuse aux méthodes classiques basées sur des modèles physiques. Cette thèse présente le développement d'une méthode entièrement fondée sur les données pour la correction des aberrations à partir d'images au plan focal, reposant sur l'apprentissage par renforcement. La première partie introduit le contexte de la recherche d'exoplanètes et de l'imagerie directe, décrit le modèle d'imagerie à travers un télescope avec et sans coronographe, et présente le formalisme de l'apprentissage par renforcement profond. Elle inclut également une revue des méthodes classiques d'estimation et de commande de surface d'onde coronographique, ainsi qu'un état de l'art des travaux combinant apprentissage par renforcement et correction d'aberrations. La deuxième partie est consacrée au développement de la méthode dans un contexte simulé d'optique active spatiale. L'agent commande directement un miroir déformable en plan pupille à partir d'images de diversité de phase, afin de maximiser une récompense fondée sur le rapport de Strehl. Il apprend à corriger les aberrations à une précision nanométrique, tout en restant robuste à des niveaux de bruit élevés. Enfin, la troisième partie étend cette approche à l'imagerie coronographique. Le critère d'optimisation devient le contraste dans le Dark Hole, et les observations des images de diversité obtenues par poussées d'actionneurs individuels. La méthode est validée sur des simulations simplifiées d'un banc d'imagerie haut contraste, où elle a permis d'obtenir les premiers Dark Holes par apprentissage par renforcement.

Direct imaging is a key technique for investigating the formation of planetary systems and detecting potential biosignatures in the atmospheres of Earth-like exoplanets. It involves capturing light emitted or reflected by an exoplanet, but faces two major challenges: the small angular separation between the planet and its host star, and the extreme contrast between their luminous fluxes. The first is addressed by increasing telescope diameter; the second is mitigated using a coronagraph, which suppresses starlight while preserving that of nearby sources. However, quasi-static aberrations upstream of the coronagraph cause starlight leakage, producing speckles that obscure the planetary signal. Achieving the required contrast levels demands wavefront control with sub-nanometric precision. Standard methods minimize stellar residuals in a closed loop, alternating between wavefront estimation - based on images acquired in the scientific focal plane - and computation of commands applied to deformable mirrors. These approaches rely on a physical model of the instrument and aim to reduce intensity in the region of the focal plane, the Dark Hole, where exoplanets are sought. However, model inaccuracies limit current performance below the requirements for imaging exo-Earths. Deep reinforcement learning, at the intersection of deep learning and optimal control, consists of training an autonomous agent to select actions from interactions with its environment, in order to optimize a scalar reward signal. Paired with convolutional neural networks capable of learning complex relationships from images, this data-driven approach offers a promising alternative to traditional model-based approaches. This thesis presents a fully data-driven method for aberration correction from focal plane images using reinforcement learning. The first part introduces the context of exoplanet science and direct imaging, details the imaging process with and without a coronagraph, and outlines the principles of deep reinforcement learning. It also reviews standard coronagraphic wavefront sensing and control methods, along with recent efforts combining reinforcement learning and aberration correction. The second part is dedicated to the development of the method in a a simulated space-based active optics setting. The agent directly controls a deformable mirror in the pupil plane using phase diversity images to maximize a Strehl-ratio-based reward. It learns to correct aberrations with nanometric precision while remaining robust to high noise levels. The final part extends the method to coronagraphic imaging, where the optimization target becomes the contrast in the Dark Hole, and observations consist of diversity images generated via single actuator probes. The method is validated on simplified simulations of a high-contrast imaging testbed, where it successfully created the first Dark Holes using reinforcement learning.