Modèles de programmation innovants pour le développement d'applications scientifiques sur architectures exascale.

Innovative programming models for the development of scientific applications on exascale architectures.

• Auteur / Autrice : Kévin Peyen
• Direction : Edouard Audit
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 12/10/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Mdls - Maison de la Simulation
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Simulation

Sycl

Numérique

Hpc

Fpga

Exascale

Sycl

Simulation

Hpc

Fpga

Numerical

Exascale

Résumé

Les supercalculateurs sont de plus en plus hétérogènes. Les nœuds de calcul se composent de plusieurs sockets CPU couplés à plusieurs accélérateurs le plus souvent GPGPU (General Purpose Graphics Processing Units). Cette hybridation des nœuds de calcul a progressivement commencé dans les années 2010 pour atteindre aujourd'hui presque 50% des 100 supercalculateurs les plus puissants au monde. Cette tendance s'accentue depuis quelques années dans un contexte d'amélioration croissante des technologies GPU pour le calcul et l'intelligence artificielle à la fois au niveau matériel (performance, consommation énergétique, mémoire embarquée) mais aussi logiciel (maturité des modèles de programmation, développement de bibliothèques, etc). Si pendant longtemps NVIDIA a dominé le marché GPU du Calcul Haute Performance (HPC), d'autres acteurs viennent aujourd'hui diversifier les technologies disponibles comme AMD ou Intel. Ces nouvelles architectures sont notamment favorisées par la course à l'Exascale, visant à atteindre une puissance de calcul de 10^18 opérations arithmétiques par secondes. La démocratisation croissante des GPUs, notamment pour le calcul scientifique, s'est accompagnée de l'émergence de nouveaux modèles de programmation. Par simplification, nous distinguons suivant trois catégories majeures : les langages relativement bas niveau fournis par les constructeurs ou supportés par certains d'entre eux (CUDA, OpenCL, etc), les modèles à base de directive (OpenACC, OpenMP) et les modèles à haut niveau d'abstraction (Kokkos, RAJA, Alpaka, SYCL, etc). Tous ces modèles se comparent sur la base de plusieurs critères que sont la performance (par rapport à la puissance crête de la machine), la portabilité (capacité du code à pouvoir s'adapter à plusieurs architectures avec un minimum d'effort), la maturité du modèle, la facilité d'apprentissage, la facilité de mise en production, la maintenabilité, la modularité et plus encore. Avec l'arrivée de multiples architectures GPU, la portabilité est devenue un enjeu prioritaire dans le choix d'un modèle pour la modernisation ou l'écriture d'un code. Elle permet à partir d'une implémentation unique de tourner sur un grand nombre d'architectures à la fois CPU et GPU, mais aussi de s'assurer une compatibilité avec les futures technologies à venir. Les développeurs, souvent scientifiques, minimisent ainsi les efforts de réécritures au profit d'une meilleure productivité. Les modèles de programmation à haut niveau d'abstraction permettent, comme leur nom l'indique, d'abstraire les structures de données, la gestion de la mémoire et le parallélisme sur les architectures visées. Pour cela, ils utilisent en arrière-plan les langages bas niveau (backends CUDA par exemple) et au premier plan la puissance des derniers standards C++ (notamment C++17). Ils permettent en peu de lignes de code de proposer des implémentations à la fois portables et performantes. Développés depuis presque 10 ans pour certains, ils sont encore relativement peu utilisés dans le milieu scientifique sur des codes de production. Néanmoins, un grand nombre d'entre eux arrivent maintenant à maturité. Ils sont poussés et supportés par la plupart des constructeurs. Cette thèse a pour objectif premier l'exploration de ces nouveaux modèles de programmation dans un contexte de développement d'applications scientifiques pour les futures architectures exascales. Le modèle qui nous intéresse le plus est SYCL développé par le Khronos Group (https://www.khronos.org/sycl/). Il a l'avantage d'être aujourd'hui adopté par de nombreux constructeurs (AMD, Intel, XILINX et d'autres) et d'être ainsi supporté par de nombreuses bibliothèques logicielles parallèles. Il est l'un des principaux modèles proposés par Intel au sein de son implémentation DPC++ pour programmer ses futurs GPU (Ponte Vecchio) mais aussi ses futures cartes FPGA (Agilex). Le ou la candidate aura pour rôle d'explorer l'implémentation SYCL de plusieurs noyaux de calcul scientifique. Un des premiers noyaux envisagés correspond à la méthode ``Particle-In-Cell' utilisée pour la simulation des plasmas dans plusieurs codes au CEA. D'autres noyaux provenant de codes développés ou supportés à la Maison de la Simulation pourront être explorés (astrophysique, dynamique moléculaire, dynamique des fluides). SYCL et les noyaux implémentés seront testés sur des systèmes en développement pour l'Exascale européen. Les futures architectures des autres constructeurs seront également testées progressivement avec l'arrivée des futures machines européennes et française. Le second objectif de la thèse sera d'explorer la programmation des accélérateurs FPGA (Field Programmable Gate Array) toujours dans un contexte scientifique. Dans un but de performance et d'efficacité énergétique, l'architecture FPGA pourrait devenir une technologie accélératrice pertinente aux côtés des CPUs et GPUs et peut-être équiper les futures machines post-exascale. De nombreux constructeurs poussent dans cette direction même si l'on est aujourd'hui encore en phase expérimentale dans un cadre HPC. Intel est ici encore un acteur en première ligne et propose depuis peu une nouvelle carte accélératrice Agilex programmable grâce au modèle de programmation DPC++ basé sur SYCL pour les applications industrielles et scientifiques. Le ou la candidate aura accès par l'intermédiaire d'un partenariat entre le CEA et Intel à des cartes Agilex afin d'étudier la performance des noyaux scientifiques sur ce type d'architecture. Pour chaque objectif, le modèle sera évalué suivant divers critères à définir plus précisément au cours de la thèse comme la portabilité réelle, la performance par rapport aux autres modèles de programmation, la facilité de prise en main, la maturité, la complexité du code obtenu, etc. En fonction de son affinité et de son avancement, le ou la candidate retenue pourra choisir les noyaux ou les architectures sur lesquels renforcer ses études. En revanche, le but n'est pas de développer un nouveau code scientifique. Cette thèse porte sur un sujet qui convient à un ou une candidate désireuse de mener un projet de recherche en informatique et de poursuivre ensuite sa carrière dans la recherche aussi bien que dans l'industrie.

Supercomputers are becoming more and more heterogeneous. Computing nodes consist of several CPU sockets coupled to several accelerators, most often GPGPUs (General Purpose Graphics Processing Units). GPU accelerators were first introduced in super-computers in the early 2010s and now accounts for almost 50% of the 100 most powerful supercomputers in the world. This trend has become more pronounced in recent years as GPU technologies for computing and artificial intelligence have become increasingly sophisticated, both in terms of hardware (performance, energy consumption, on-board memory) and software (maturity of programming models, development of libraries, etc.). While NVIDIA has long dominated the High-Performance Computing (HPC) GPU market, other players such as AMD and Intel are now diversifying the available technologies. These new architectures are notably favoured by the race to Exascale, which aims to achieve computing power of 10^18 arithmetic operations per second. The democratisation of GPUs, especially for scientific computing, has been accompanied by the emergence of new programming models. For simplicity, we distinguish between three major categories: relatively low-level languages provided by manufacturers or supported by some of them (CUDA, OpenCL, etc.), directive-based models (OpenACC, OpenMP) and high-level abstraction models (Kokkos, RAJA, Alpaka, SYCL, etc.). These models can be compared using several criteria such as performance (relative to the peak power of the machine), portability (ability of the code to adapt to multiple architectures with minimal effort), model maturity, ease of learning, ease of production, maintainability, modularity and more. With the advent of multiple GPU architectures, portability has become a priority issue in the choice of a model for modernising or writing code. It allows a single implementation to run on many architectures, both CPU and GPU, but also ensure compatibility with future technologies. Developers, often scientists, thus minimise rewriting efforts in favour of better productivity. High-level abstraction programming models allow, as their name suggests, the abstraction of data structures, memory management and parallelism on the targeted architectures. To do this, they use low-level languages in the background (CUDA backends, for example) and the power of the latest C++ standards (especially C++17) in the foreground. They allow us to propose portable and high-performance implementations in a few lines of code. Some of them have been developed for almost 10 years but are still relatively little used in the scientific community on production codes. Nevertheless, many of them are now reaching maturity. They are pushed and supported by most manufacturers. The primary objective of this thesis is to explore these new programming models in the context of developing scientific applications for future exascale architectures. The model that interests us most is SYCL developed by the Khronos Group. It has the advantage of being adopted today by many manufacturers (AMD, Intel, XILINX and others) and of being supported by many parallel software libraries. It is one of the main models proposed by Intel within its DPC++ implementation for programming its future GPUs (Ponte Vecchio) but also its future FPGA boards (Agilex). The goal of the candidate will be to explore the SYCL implementation of several scientific computing kernels. One of the first kernels envisaged corresponds to the 'Particle-In-Cell' method used for plasma simulation in several codes at CEA. Other kernels from codes developed or supported at the Maison de la Simulation may be explored (astrophysics, molecular dynamics, fluid dynamics). SYCL and the implemented kernels will be tested on systems under development for the European Exascale. Future architectures from other manufacturers will also be tested progressively with the arrival of future European and French machines. The second objective of the thesis will be to explore the programming of Field Programmable Gate Array (FPGA) accelerators in a scientific context. With the aim of performance and energy efficiency, the FPGA architecture could become a relevant accelerator technology alongside CPUs and GPUs and perhaps equip future post-exascale machines. Many manufacturers are pushing in this direction, even if we are still in the experimental phase in an HPC context. Intel is again a front-line player and has recently launched a new accelerator card (Agilex) that can be programmed using the SYCL-based DPC++ programming model for industrial and scientific applications. Through a partnership between the CEA and Intel, the candidate will have access to Agilex boards in order to study the performance of scientific kernels on this type of architecture. For each objective, the model will be evaluated according to various criteria to be defined more precisely during the thesis, such as real portability, performance compared to other programming models, ease of use, maturity, complexity of the resulting code, etc. Depending on his or her affinity and progress, the successful candidate will be able to choose the kernels or architectures on which to strengthen his or her studies. However, the aim is not to develop a new scientific code. This thesis is on a topic that is suitable for a candidate who wishes to conduct a research project in computer science and then pursue a career in the research area as well as in industry.