Optimisation d'un code de calcul écrit en tâche sur calculateur à mémoire distribuée

Optimization of a task-based simulation code on a distributed supercomputer

• Auteur / Autrice : Alice Lasserre
• Direction : Raymond Namyst, Abdou Guermouche
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 18/10/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : LaBRI - Laboratoire Bordelais de Recherche en Informatique
• Partenaire(s) de recherche : Equipe de recherche : Supports et Algorithmes pour les applications numériques hautes performances (SATANAS)

Mots clés

Mots clés libres

Partitionnement de Maillage

Equilibrage de charge

Parallelisme

Parallelism

Mesh partitioning

Load balancing

Résumé

Les évolutions des machines de calculs dédiés à la simulation les ont rendu plus complexe à programmer. Sur un nœud de calcul, chaque processeur est désormais composé de plusieurs cœurs de calculs et il est possible d'avoir des accélérateurs. Les différents nœuds de calculs ne partagent pas la mémoire et doivent communiquer via l'intermédiaire du réseau. Il n'est pas aisé d'obtenir des performances avec de telles machines : le programmeur devant prendre en compte les différentes unités de calcul et leur hétérogénéité. De plus, lors d'un changement de machine il est possible que les optimisations faites soient rendues caduques. La programmation à base de tâches exécutées par un moteur d'exécution cherche à pallier ce problème. Le problème est décrit sous forme de tâches et le moteur se charge de les répartir entre les différentes unités de calculs en respectant les différentes dépendances entre les tâches. Plusieurs stratégies d'ordonnancement sont ensuite possibles. Le code FLUSEPA (propriété d'ArianeGroup) est un code de CFD dont l'une des caractéristiques majeur est la capacité à traiter les problèmes instationnaires impliquant des corps en mouvement relatif. La gestion des corps en mouvement relatif se fait via l'intersection de plusieurs maillages, comparable à une méthode chimère. En règle générale, les calculs aérodynamiques représentent la majeure partie du calcul, cependant actuellement les changements de topologie entraînent un recalcul de nombreuses structures de données qui ralentissent fortement le calcul. Aujourd'hui, le solveur aérodynamique est parallélisé en tâches, qui sont ordonnancés par StarPU. Ce travail a nécessité une refonte des structures de données et une refactorisation du code. Les parties géométriques du code n'ont pas encore été parallélisées suivant ce paradigme. Cependant, une version du code écrite en MPI/OpenMP a montré qu'il était possible de calculer la topologie suivante pendant les calculs aérodynamiques sans perte de qualité notable en nécessitant toutefois une synchronisation lourde pour la réactualisation de la topologie. Le travail proposé consiste dans un premier temps à analyser et post-traiter les performances du code FLUSEPA pour ensuite améliorer les performances du solveur en tirant partie de la description du problème via un graphe de tâches. Pour le moment, le solveur aérodynamique de FLUSEPA est décrit sous forme de tâches. Une première décomposition de domaine permet de partager le travail pour différents nœuds de calculs. Au sein de ces nœuds une autre décomposition de domaine a lieu afin de pouvoir générer les tâches. Ces tâches peuvent ensuite être ordonnées de plusieurs manières. L'algorithme explicite d'avancement en temps dépend de la physique et certaines cellules nécessitent plus de calculs que d'autres. Ces cellules peuvent changer au cours des itérations et ainsi la charge de calcul évolue. De plus, un raffinement du maillage peut avoir lieu et modifier fortement la charge de calcul localement. Il est aujourd'hui possible de sortir une trace d'exécution d'une itération ainsi que les niveaux temporels de chaque cellules. Ces données peuvent être utilisées pour simuler une autre exécution en changeant à la fois les décompositions de domaines et l'ordonnancement. Il est donc possible de simuler d'autres exécutions à partir d'une exécution réelle en modifiant le graphe de tâches, via la décomposition de domaine. L'utilisation de ces simulations permet d'évaluer rapidement différentes stratégies. Il est ensuite possible d'injecter une décomposition de domaine dans la véritable simulation, afin de l'évaluer en conditions réelles. Une autre question importante concerne le rééquilibrage en cours de calcul de manière optimale : quand rééquilibrer et comment faire en sorte que l'application du rééquilibrage soit le moins coûteuse possible. Lors d'un calcul avec le solveur explicite, les échanges de données sont très locaux entre les cellules donc il est envisageable de pouvoir continuer le calcul pendant que certaines mailles sont échangées entre les différents domaines.

The FLUSEPA code (property of ArianeGroup) is a CFD code whose major feature is the ability to handle unsteady problems involving bodies in relative motion. The management of bodies in relative motion is done via the intersection of several meshes, comparable to a chimera method. In general, the aerodynamic calculations represent the major part of the computation, however, currently the topology changes lead to a recalculation of many data structures which strongly slow down the computation. Today, the aerodynamic solver is parallelized into tasks, which are scheduled by StarPU. This work required a redesign of the data structures and a refactoring of the code. The geometric parts of the code have not yet been parallelized in this paradigm. However, a version of the code written in MPI/OpenMP has shown that it was possible to compute the following topology during the aerodynamic calculations without any noticeable loss of quality, but requiring a heavy synchronization for the topology update. The proposed work consists in first analyzing and post-processing the performances of the FLUSEPA code to then improve the performances of the solver by taking advantage of the problem description via a task graph. For the moment, the aerodynamic solver of FLUSEPA is described in terms of tasks. A first domain decomposition allows to share the work for different computational nodes. Within these nodes another domain decomposition takes place in order to generate the tasks. These tasks can then be ordered in several ways. The explicit time advancement algorithm is physics dependent and some cells require more computation than others. These cells can change during the iterations and thus the computational load evolves. Moreover, a refinement of the mesh can take place and strongly modify the computational load locally. It is now possible to output a trace of the execution of an iteration as well as the temporal levels of each cell. This data can be used to simulate another execution by changing both the domain decompositions and the scheduling. It is therefore possible to simulate other executions from a real execution by changing the task graph, via the domain decomposition. The use of these simulations allows to quickly evaluate different strategies. It is then possible to inject a domain decomposition into the real simulation, in order to evaluate it in real conditions. Another important question concerns rebalancing during the calculation in an optimal way: when to rebalance and how to make the application of rebalancing as cheap as possible. During a computation with the explicit solver, the data exchanges are very local between the cells so it is conceivable to be able to continue the computation while some meshes are exchanged between the different domains.