Analyse et optimisation des échanges inter-nœuds dans un contexte MSA

Analysis and optimization of internode data exchanges in an MSA context

• Auteur / Autrice : Thibaut Pepin
• Direction : Guillaume Mercier
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 09/11/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : LaBRI - Laboratoire Bordelais de Recherche en Informatique
• Partenaire(s) de recherche : Equipe de recherche : Supports et Algorithmes pour les applications numériques hautes performances (SATANAS)

Mots clés

Mots clés libres

Calcul haute-performance

Topologies matérielles

Mpi

Collectives topologiques

Hardware topologies

High-Performance computing

Mpi

Topological collectives

Résumé

La course au petaflop et à l'exaflop a vu l'avènement de supercalculateurs de plus en plus hétérogènes. Le modèle « MSA » (Modular Supercomputing Architecture) est l'aboutissement de cette évolution. Un système MSA est composé de différents modules, chacun de ces modules étant un mini-supercalculateur avec une architecteur matérielle propre pour adresser un besoin particulier en capacité de calcul par des applications ciblées. Ces modules sont connectés entre eux avec un réseau d'interconnexion rapide et un environnement logiciel commun offrant la possibilité d'exécuter une application sur plusieurs modules en même temps. Cela permet aux applications d'utiliser à la fois des processeurs généralistes, mais aussi du matériel spécialisé tel que des processeurs neuromorphiques ou quantiques pour des phases spécifiques de calcul. En plus des unités de calcul, il est aussi possible que les réseaux d'interconnexions au sein de chaque module soit différent. Cette multiplicité potentielle de réseaux, ainsi que l'enchevêtrement hiérarchique de ces réseaux, impose une pression importante sur les bibliothèques de communication inter-nœuds, telles que les implémentations du standard MPI. En effet, étant possible qu'une seule application s'exécute sur plusieurs modules en même temps, l'implémentation MPI doit être capable de faire passer les messages entre des processus MPI se situant sur différents modules. Il est donc nécessaire que l'implémentation MPI supporte 1) différents réseaux et 2) de faire transiter un unique message par différents réseaux. L'objectif de cette thèse est d'analyser les fonctionnalités et contraintes nécessaires apportées par le support de MSA, et de proposer des solutions pour une exécution optimisée sur ce type d'architecture. Le doctorant se basera sur l'expertise obtenu dans l'équipe encadrante sur le multi-rail multi-réseau présent dans MPC. Au travers de cette thèse, nous souhaitons étudier : - L'interface utilisateur pour le lancement d'un job MPI en contexte multi-module - La récupération d'information et la représentation de la topologie de l'ensemble des réseaux lors de l'exécution d'une application sur plusieurs modules - Analyse et développement d'algorithmes hiérarchiques adaptés au contexte MSA et prenant en compte la topologie réseau

The race for petaflop and exaflop has seen the advent of increasingly heterogeneous supercomputers. The 'MSA' (Modular Supercomputing Architecture) model is the culmination of this evolution. One MSA system is composed of different modules, each of these modules being a mini-supercomputer with its own hardware architecture to address a particular need for computing capacity by targeted applications. These modules are connected to each other with a fast interconnection network and a common software environment with the ability to run an application across multiple modules at the same time. This allows applications to use both general-purpose processors, but also specialized hardware such as neuromorphic or quantum processors for specific phases of computation. In addition to the computing units, it is also possible that the interconnection networks within each module is different. This potential multiplicity of networks, as well as the hierarchical entanglement of these networks, imposes significant pressure on inter-node communication libraries, such as implementations of the MPI standard. Indeed, being possible for a single application to run on several modules at the same time, the MPI implementation must be able to pass messages between MPI processes located on different modules. It is therefore necessary that the MPI implementation supports 1) different networks and 2) message transmition through different networks. The objective of this thesis is to analyze the functionalities and constraints necessary provided by the MSA support, and to propose solutions for optimized execution on this type of architecture. The PhD student will be based on the expertise obtained in the supervisory team on multi-rail multi-network present in MPC. Through this thesis, we wish to study: - The user interface for launching an MPI job in a multi-module context - The retrieval of information and the representation of the topology of all networks during running an application on multiple modules - Analysis and development of hierarchical algorithms adapted to the MSA context and taking into account counts the network topology