Maximum de vraisemblance et apprentissage informé pour l'imagerie dynamique en radioastronomie

Maximum likelihood and physics-informed learning for dynamic imaging in radioastronomy

• Auteur / Autrice : Nawel Arab
• Direction : Pascal Larzabal
• Type : Projet de thèse
• Discipline(s) : Sciences du traitement du signal et des images
• Date : Inscription en doctorat le 01/10/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Systèmes et applications des technologies de l'information et de l'énergie (Gif-sur-Yvette, Essonne ; 2002-....)
• Partenaire(s) de recherche : Equipe de recherche : MOSS - Méthodes et outils pour les Signaux et Systèmes
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)

Mots clés

Mots clés libres

Model based deep learning

Traitements statistiques

Optimisation

Processus dynamiques

Algorithme Espérance-Maximisation

Radioastronomie

Model based deep learning

Radioastronomy

Statistical processing

Expectation-Maximization algorithm

Dynamical processus

Optimization

Résumé

Le contexte : Le “Square Kilometer Array” (SKA) [1-2] est un projet de radiotélescope géant, de surface collectrice équivalente à un kilomètre carré. Il est constitué de plusieurs réseaux interférométriques dans les longueurs d'onde métriques et centimétriques. Il est prévu de déployer SKA sur deux sites, l'un en Afrique du Sud (SKA-mid pour les hautes fréquences) et l'autre en Australie (SKA-low pour les basses fréquences). Le déploiement se déroulera en deux phases séparées dans le temps: La phase 1 (SKA1) a débuté en 2021 par la construction prévue pour 2030 d'environ 200 antennes paraboliques (15 m de diamètre, bande passante 350MHz-13GHz) en Afrique du Sud et 130 000 antennes phasées (antenne log périodique à double polarisation bande passante (50MHz-350MHz) travaillant aux basses fréquences dans l'ouest australien. Ce radiotélescope géant sera évolutif mais une mise en service partielle aura lieu dès 2024. Dans cette configuration, SKA1 représentera déjà un saut qualitatif immense par rapport aux instruments existants, et permettra des avancées décisives dans toutes les thématiques de l'astrophysique et de la physique modernes, comme la cosmologie, l'origine des champs magnétiques cosmiques, les ondes gravitationnelles, le milieu interstellaire, la formation des étoiles aux différentes époques de l'univers, les sursauts radio rapides... Depuis le début, SKA a été conçu pour accéder à un champ d'exploration exceptionnel au travers de la combinaison de caractéristiques (sensibilité;, champ de vue, résolution, couverture en fréquence) qui seront d'un ordre de grandeur supérieur à celles des instruments radio à basses et moyennes fréquences existants. Une capacité sans égale d'obtenir des images très nettes avec des temps de pose assez courts permettra à ce nouvel observatoire de balayer le ciel rapidement et en profondeur. La Phase 2 est envisagée pour les années 2030+. Dans cette configuration finale, SKA2 sera l'instrument ultime de la radioastronomie basse-fréquence du 21ème siècle. Dès la phase1 SKA1 sera l'une des plus formidables machines jamais déployées par l'homme, et de loin la plus impressionnante en termes de débit de données et de puissance de calcul engagée. La problématique: L'imagerie radioastronomique du ciel est traditionnellement effectuée par des techniques d'interférométrie dont le pouvoir de résolution (finesse des détails de l'image) est directement lié à l'étendue du réseau d'antenne, c'est à dire la distance séparant ses antennes les plus éloignées [3-4]. Cela veut dire qu'avec la majorité des techniques d'imagerie actuelles l'amélioration ne peut passer que par des radiotélescopes de plus en plus ‘grands'. Ceci est d'autant plus contraignant que les fréquences analysées sont basses. C'est une course au gigantisme à laquelle se livre la communauté des radioastronomes. De plus, ces techniques interférométriques nécessitent une déconvolution, étape extrémement délicate, très sensible aux a priori et dont les performances impactent directement le contraste de l'image. Cette étape peut s'avérer irréversible dans la perte d'information sur l'image. Spécifiquement, les performances des cartographies d'imagerie dynamique actuelles restent très largement en deçà de la sensibilité que permet en théorie la surface collectrice d'un instrument interférométrique tel que le SKA. En effet ses antennes très largement espacées rassemblent des milliers de capteurs et permettent des observations multi-fréquences, variant dans le temps. Néanmoins, les méthodes actuelles ne permettent pas d'exploiter ces diversités (espace, temps, fréquence), car cela soulève un problème méthodologique lié à la complexité/faisabilité du calcul en raison de la grande taille des données. De tels problèmes peuvent être par exemple traités par filtrages particulaires mais ceux-ci nécessitent de trop grandes capacités numériques. Par ailleurs, les méthodes basées sur les filtres de Kalman non linéaires ne sont pas assez précises pour prendre en compte de fortes non linéarités et voient de ce fait leurs performances se dégrader. Ainsi, la plupart des méthodes actuellement utilisées sont conçues en supposant que les paramètres d'intérêt (par exemple, la cohérence de la source) et/ou les paramètres auxiliaires (par exemple, ceux liés au déphasage) sont statiques au cours de l'observation [5-8]. Par conséquent, les données sont moyennées de manière approximatives sur des intervalles trop longs, ce qui conduit à une synthèse sous-optimale. De plus, la plupart de l'état de l'art suppose qu'il est possible de faire tenir l'ensemble des données traitées en mémoire et d'agréger toutes les données brutes dans la mémoire d'une seule unité de traitement, ce qui ne sera pas possible en pratique. Il devient nécessaire de repousser les limitations des techniques actuelles en développant de nouvelles méthodes à la hauteur du formidable potentiel offert par SKA. Méthodologie et solutions proposées: Il nous semble dès lors pertinent de développer de nouvelles techniques d'imagerie dynamique basée sur le maximum de vraisemblance (MV). En effet le pouvoir de résolution de ces dernières n'est pas limité par l'étendue du réseau. De plus on peut aussi en améliorer le pouvoir de résolution en prenant en compte le flux des observations disponibles et en exploitant un modèle qui décrit la dynamique de l'image. Afin d'améliorer la résolution, le contraste des images et faire de l'imagerie dynamique, nous allons travailler sur des critères du maximum de vraisemblance paramétré ou non selon les a priori disponibles sur l'image à former [9]. Il semble évident que l'application brute-force du MV ne sera parfois ni envisageable à cause de données incomplètes ou encore ni compatible des puissances de calcul disponibles. Il est alors nécessaire de développer pour le maximum de vraisemblance des techniques de mises en œuvre dynamiques, éventuellement approchées, qui soient statistiquement performantes, temps réel, robustes et efficaces numériquement. Une alternative qui nous paraît prometteuse à étudier est l'algorithme EM (Expectation-maximization) dans sa version stochastique. En effet les algorithmes EM permettent d'accélérer la convergence quand on ne peut pas traiter le Maximum de vraisemblance directement. Afin de prendre en compte l'effet dynamique, nous adapterons le schéma susmentionné en un processus en ligne qui consiste à utiliser une combinaison d'une approximation stochastique de la vraisemblance avec un algorithme EM, visant à incorporer l'information apportée par la nouvelle observation disponible dans l'étape E et l'étape M. En particulier, l'utilisation de ce que l'on appelle l'approximation stochastique de l'EM (connu sous le nom de SAEM) semble être la meilleure alternative puisque son efficacité numérique a été démontrée [10]. Cette dernière sera soigneusement conçue en tempérant la SAEM afin d'échapper aux maxima locaux [11]. De plus en raison de la géométrie des stations, nous proposons d'effectuer l'étape E et l'étape M de la SAEM d'une manière distribuée, dans laquelle chaque station peut calculer indépendamment une forme compacte de quantités locales sommaires en utilisant uniquement des observations locales [12, 13, 14]. Ensuite le processus central estime les paramètres communs (c'est-à-dire les images) qui seront renvoyées à chaque station afin d'affiner le processus d'apprentissage. Il convient de mentionner que les quantités globales résumées seront considérées comme des moyennes pondérées des quantités locales résumées. Afin de gagner en robustesse, ces pondérations seront estimées localement en tenant compte de l'effet aléatoire local. Les algorithmes proposés seront systématiquement comparés aux méthodes de l'état de l'art et les performances statistiques obtenues seront comparées aux bornes minimales d'estimation [15]. L'efficacité opérationnelle des algorithmes précédents repose cependant sur la validité et la précision du modèle exploité dans les algorithmes. Nous proposerons pour ces divers algorithmes une mise en œuvre sous forme d''algorithm unrolling'[16]. En effet l'utilisation de ‘model based deep learning techniques' assurera d'une part une vitesse de convergence supérieure et permettra de donner des degrés de liberté au modèle de réception postulé afin de tenir compte des problèmes de calibration. Le déroulement de l'algorithme itératif sur les couches successives du réseau de neurones bénéficiera de l'adjonction structurelle de paramètres supplémentaires liés aux connexions entre les neurones. Ces degrés de liberté supplémentaires pourront par exemple pallier la méconnaissance des paramètres de calibration (par exemple perturbations non maitrisées liées à la traversée de l'ionosphère [17]). Il s'agit ici d'une alternative au deep neural network dont l'opacité et la non interprétabilité de l'apprentissage statistique peut s'avérer parfois déroutante. L'apprentissage évoluerait alors autour d'une boussole pointée et contrôlée par le modèle de l'observation. L'adaptation des paramètres supplémentaires serait seul sujet à un apprentissage statistique ‘aveugle'. Il sera alors intéressant de procéder à une comparaison des méthodes de traitement de problème inverse entièrement fondés sur le seul modèle de réception avec celles fondées sur le ‘model based deep learning' et aussi celles sur le total deep neural network. Une telle comparaison apportera sa pierre à l'édifice dans le débat qui a lieu à ce sujet entre les communautés traitement du signal d'une part et apprentissage statistique de l'autre. Plan de travail: 1 Bibliographie en traitement d'antenne, radioastronomie et modèle d'image. 2 Appropriation et étude de méthodes du maximum de vraisemblance pour une image statique 3 Proposition de modèles adaptés d'évolution de l'image compatible d'une approximation stochastique de la vraisemblance. 4 Développement de méthodes SAEM pour une imagerie dynamique 5 Proposition de mises en œuvre distribuées 6 Implémentation des méthodes dans un cadre de ‘model based deep learning' 7 Validation/Immersion dans un observatoire avec des radioastronomes Conditions de travail : Le doctorant travaillera au sein laboratoire SATIE à l'ENS Paris-Saclay, 4 rue des sciences, 91190 Gif sur Yvette. Il intègrera l'équipe MOSS (Méthodes et Outils pour les Signaux et Systèmes). Il disposera d'un bureau au sein de l'activité traitement du signal pour la radioastronomie. Il participera à une école d'été sur la radioastronomie.

The context The 'Square Kilometer Array (SKA) [1-2] is a project of giant radio telescope, with a collecting area equivalent to one square kilometer. It consists of several interferometric arrays in the VHF and UHF wavelengths. It is planned to deploy SKA on two sites, one in South Africa (SKA-mid for high frequencies) and the other in Australia (SKA-low for low frequencies). The deployment will take place in two separate phases: Phase 1 (SKA1) started in 2021 with the construction planned for 2030 of about 200 parabolic antennas (15 m diameter, bandwidth 350MHz-13GHz) in South Africa and 130 000 phased-array antennas (dual polarized periodic log antenna with bandwidth (50MHz-350MHz) working at low frequencies in Western Australia. This giant radio telescope will be scalable but a partial commissioning will take place as early as 2024. In this configuration, SKA1 will already represent considerable improvments compared to existing instruments, and will allow decisive advances in all the themes of modern astrophysics and physics, such as cosmology, the origin of cosmic magnetic fields, gravitational waves, the interstellar medium, the formation of stars at different times of the universe, fast radio bursts... From the beginning, SKA has been designed to access an exceptional field of exploration through a combination of characteristics (sensitivity, field of view, resolution, frequency coverage) that will be an order of magnitude superior to those of existing low and medium frequency radio instruments. An unrivaled ability to obtain very sharp images with relatively short exposure times will allow this new observatory to scan the sky quickly and thoroughly. Phase 2 is envisioned for the 2030+ years. In this final configuration, SKA2 will be the ultimate low-frequency radio astronomy instrument of the 21st century. From phase 1 SKA1 will be one of the most formidable machines ever deployed by man, and by far the most impressive in terms of data rate and computational power. The problem Radio astronomical imaging of the sky is traditionally performed by interferometric techniques whose resolution is directly related to the extent of the antenna array, i.e. the distance between its most distant antennas [3-4]. This means that with the majority of current imaging techniques the improvement can only be achieved with larger and larger radio telescopes. This is all the more constraining as the analyzed frequencies are low. It is a race to gigantism that the community of radio astronomers is engaged in. Moreover, these interferometric techniques require a deconvolution, an extremely delicate step, very sensitive to a priori and whose performance directly impacts the contrast of the image. This step can be irreversible in the loss of information on the image. Specifically, the performance of current dynamic imaging maps remains far below the sensitivity that allows in theory the collecting surface of an interferometric instrument such as the SKA. Indeed, its widely spaced antennas gather thousands of sensors and allow multi-frequency observations, varying in time. Nevertheless, current methods do not allow to exploit these diversities (space, time, frequency), because this raises a methodological problem related to the complexity/feasibility of the calculation due to the large size of the data. Such problems can be treated for example by particle filtering but these require too large numerical capacities. Moreover, methods based on nonlinear Kalman filters are not precise enough to take into account strong nonlinearities and thus see their performances degrading. Thus, most of the currently used methods are designed assuming that the parameters of interest (e.g., source coherence) and/or the auxiliary parameters (e.g., those related to phase shift) are static during the observation [5-8]. As a result, the data are approximately averaged over too long intervals, which leads to suboptimal synthesis. Furthermore, most of the state of the art assumes that it is possible to fit all the processed data into memory and aggregate all the raw data into the memory of a single processing unit, which will not be possible in practice. It becomes necessary to push back the limitations of the current techniques by developing new methods at the height of the formidable potential offered by SKA. Methodology and proposed solutions It seems relevant to develop new dynamic imaging techniques based on maximum likelihood (ML). Indeed, the resolution power of these techniques is not limited by the extent of the network. Moreover, we can also improve the resolution power by taking into account the flow of available observations and by exploiting a model that describes the dynamics of the image. In order to improve the resolution, the contrast of the images and to do dynamic imaging, we will work on maximum likelihood criteria parameterized or not according to the available a priori on the image to be formed [9]. It seems obvious that the direct application of ML will sometimes not be possible because of incomplete data or because of the available computing power. It is then necessary to develop dynamic implementation techniques for maximum likelihood, possibly approximated, that are statistically efficient, real-time, robust and numerically effective. An alternative that seems promising to study is the EM (Expectation-maximization) algorithm in its stochastic version. Indeed, EM algorithms allow to accelerate the convergence when we cannot treat the Maximum Likelihood directly. In order to take into account the dynamic effect, we will adapt the above-mentioned scheme into an online process which consists in using a combination of a stochastic likelihood approximation with an EM algorithm, aiming at incorporating the information brought by the new observation available in the E step and the M step. In particular, the use of the so-called stochastic EM approximation (known as SAEM) seems to be the best alternative since its numerical efficiency has been demonstrated [10]. The latter will be carefully designed by tempering the SAEM in order to escape local maxima [11]. Moreover due to the geometry of the stations, we propose to perform the E-step and M-step of SAEM in a distributed manner, where each station can independently compute a compact form of local summary quantities using only local observations [12, 13, 14]. Then the central process estimates the common parameters (i.e., images) that will be returned to each station to refine the learning process. It is worth mentioning that the summarized global quantities will be considered as weighted averages of the summarized local quantities. In order to gain robustness, these weights will be estimated locally taking into account the local random effect. The proposed algorithms will be systematically compared to the state of the art methods and the statistical performances obtained will be compared to the minimum estimation bounds [15]. However, the operational efficiency of the previous algorithms relies on the validity and accuracy of the model used in the algorithms. We propose for these various algorithms an implementation in the form of 'algorithm unrolling' [16]. Indeed, the use of 'model based deep learning techniques' will ensure on the one hand a higher convergence speed and will allow to give degrees of freedom to the postulated reception model in order to take into account the calibration problems. The iterative algorithm on the successive layers of the neural network will benefit from the structural addition of additional parameters related to the connections between neurons. These additional degrees of freedom can, for example, compensate for the lack of knowledge of the calibration parameters (e.g. uncontrolled disturbances linked to the crossing of the ionosphere [17]). This is an alternative to the deep neural network whose opacity and non-interpretability of statistical learning can sometimes be confusing. Learning would then evolve around a compass pointed and controlled by the observation model. The adaptation of additional parameters would only be subject to a 'blind' statistical learning. It will then be interesting to proceed to a comparison of inverse problem processing methods entirely based on the reception model alone with those based on model based deep learning and also those based on the total deep neural network. Such a comparison will contribute to the debate between the signal processing and statistical learning communities. Work plan: 1 Bibliography in antenna processing, radio astronomy and image model. 2 Appropriation and study of maximum likelihood methods for a static image 3 Proposal of adapted models of image evolution compatible with a stochastic likelihood approximation. 4 Development of SAEM methods for dynamic imaging 5 Proposal of distributed implementations 6 Implementation of the methods in a 'model based deep learning' framework 7 Validation/Immersion in an observatory with radio astronomers Working conditions: The PhD student will work in the SATIE laboratory at ENS Paris-Saclay, 4 rue des sciences, 91190 Gif sur Yvette. He will be part of the MOSS team (Methods and Tools for Signals and Systems). He will have an office within the signal processing activity for radio astronomy. He will participate to a summer school on radio astronomy.