ExaSKA : Parallélisation sur serveur de calcul intensif pour le radiotelescope exascale SKA

ExaSKA : Parallelization on a High Performance Computing server for the exascale radiotelescope SKA

• Auteur / Autrice : Nicolas Monnier
• Direction : Nicolas Gac, François Orieux, Cyril Tasse
• Type : Thèse de doctorat
• Discipline(s) : Sciences du traitement du signal et des images
• Date : Soutenance le 12/06/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des signaux et systèmes (Gif-sur-Yvette, Essonne ; 1974-....)
• Partenaire(s) de recherche : Référent : CentraleSupélec (2015-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Charles Soussen
• Jury : Examinateurs / Examinatrices : Damien Gratadour, Éric Thiébaut, Martin Schreiber, John W. Romein, Caroline Kulcsár
• Jury : Rapporteur / Rapporteuse : Damien Gratadour, Éric Thiébaut, Martin Schreiber

Mots clés

Mots clés contrôlés

Optimisation mathématique

Processeurs graphiques

Interpolation (mathématiques)

Radioastronomie

Mots clés libres

Ska

Calcul haute perfomance

Problème inverse

Gpu

Radioastronomie

Ska

High Performance Computing

Radioastronomy

Inverse problem

Gpu

Résumé

Les radio interféromètres simulent un grand télescope via un réseau d'antennes. L'imagerie reconstruit une image du ciel observé via les signaux reçus par les antennes, qui sont dans le domaine spatial, mais dont les données, les visibilités, sont situées dans le domaine de Fourier. Ce problème de reconstruction est ''mal-posé'' car les mesures ne couvrent pas l'entièreté du plan de Fourier et sont corrompues par les effets de la propagation des signaux dans l'atmosphère terrestre.Les algorithmes itératifs utilisent de l'information a priori sur le ciel pour la reconstruction, mais nécessitent une interpolation des visibilités sur une grille uniforme pour utiliser des algorithmes de transformée de Fourier rapide. Dans le modèle ''backward'', l'interpolation, appelée gridding, étale les visibilités sur une grille uniforme en utilisant un noyau de convolution. Dans le modèle ''forward'', l'interpolation, appelée degridding, est l'opération adjointe qui regroupe l'information sur une zone centrée sur la position de la visibilité.Le traitement et la conservation des visibilités sont très coûteux en raison du débit de données extrêmement important généré par les radiotélescopes, en particulier avec la nouvelle génération d'interféromètres. La reconstruction d'image est un défi majeur en raison du coût calculatoire élevé des opérateurs d'interpolation, le gridding et degridding, et des algorithmes de reconstruction qui sont un goulot d'étranglement.Cette thèse se concentre sur la réduction du temps de calcul des méthodes d'imagerie en se concentrant sur deux aspects: l'aspect algorithmique et l'implémentation hardware avec une parallélisation à grain fin et à gros grain. Une méthode de réduction du coût calculatoire des opérateurs de gridding et degridding est présentée en les fusionnant en un opérateur unique, nommé Grid to Grid (G2G), qui s'appuie sur la succession des deux opérateurs ainsi que sur l'approximation des coordonnées des visibilités sur la grille de Fourier. Les implémentations CPU et GPU de cette méthode montrent que G2G réduit considérablement le coût calculatoire et l'empreinte mémoire sans pénaliser la qualité de la reconstruction. Le facteur de suréchantillonnage sert d'équilibre entre la réduction du coût calculatoire et la précision de l'interpolation.Une distribution multi-coeur multi-node sur serveur HPC du framework d'imagerie DDFacet est également présentée. La parallélisation est divisée en plusieurs niveaux: une parallélisation multi-cœur pour systèmes à mémoire partagée basée sur l'indépendance des calculs entre les facettes, et une parallélisation multi-nœud pour système à mémoire distribuée basée sur l'indépendance des calculs du gridding et degridding entre les différentes fréquences d'observation. Cette double parallélisation réduit considérablement le temps d'exécution et l'accélération n'est pas linéaire, permettant de choisir un optimum entre l'accélération et les ressources de calculs utilisées.

Radio interferometers simulate a large telescope via a network of antennas. Imaging reconstructs an image of the observed sky using signals received by the antennas, which are in the spatial domain but whose data and visibilities are located in the Fourier domain. This reconstruction problem is ''ill-posed'' because the measurements do not cover the entire Fourier plane and are corrupted by the effects of signal propagation in the Earth's atmosphere.Iterative algorithms use a priori information about the sky for reconstruction but require interpolation of visibilities onto a uniform grid to use fast Fourier transform algorithms. In the ''backward'' model, interpolation, called gridding, spreads visibilities onto a uniform grid using a convolution kernel. In the ''forward'' model, interpolation, called degridding, is the adjoint operation that gathers information on an area centered on the visibility position.The processing and storage of visibilities are computationally expensive due to the extremely large data rates generated by radio telescopes, especially with the new generation of interferometers. Image reconstruction is a major challenge due to the high computational cost of interpolation operators, gridding and degridding, and reconstruction algorithms that are a bottleneck.This thesis focuses on reducing the computation time of imaging methods by focusing on two aspects: the algorithmic aspect and the hardware implementation with fine-grained and coarse-grained parallelization. A method for reducing the computational cost of gridding and degridding operators is presented by merging them into a single operator, named Grid to Grid (G2G), which relies on the succession of the two operators as well as the approximation of the visibility coordinates on the Fourier grid. CPU and GPU implementations of this method show that G2G significantly reduces the computational cost and memory footprint without penalizing reconstruction quality. The oversampling factor serves as a balance between reducing computational cost and interpolation accuracy.A multi-core multi-node distribution on an HPC server of the DDFacet imaging framework is also presented. Parallelization is divided into several levels: multi-core parallelization for shared-memory systems based on the independence of calculations between facets and multi-node parallelization for distributed-memory systems based on the independence of gridding and degridding calculations between different observation frequencies. These two levels of parallelization significantly reduce execution time, and acceleration is not linear, allowing for an optimum choice between acceleration and computational resources used.