Coordination et ordonnancement de tâches à grains fins entre environnements d'exécution HPC

Fine-grained tasks coordination and scheduling between HPC runtimes

• Auteur / Autrice : Cassandra Rocha barbosa
• Direction : Marc Pérache, Michaël Krajecki
• Type : Projet de thèse
• Discipline(s) : Info - Informatique
• Date : Inscription en doctorat le ; Soutenance le 20/06/2023
• Etablissement(s) : Reims
• Ecole(s) doctorale(s) : École doctorale Mathématiques Physique Sciences du Numérique et de l'Ingénieur (Reims ; 2018-)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique en Calcul Intensif et Image pour la Simulation
• Jury : Président / Présidente : Luiz Angelo Steffenel
• Jury : Examinateurs / Examinatrices : Marc Pérache, Emmanuel Jeannot, Soraya Zertal, Michaël Krajecki, Pierre Lemarinier, Raymond Namyst
• Jury : Rapporteur / Rapporteuse : Emmanuel Jeannot, Soraya Zertal

Mots clés

Mots clés libres

Passage à message

Ordonnancement

Multi-tâches

Équilibrage de charge

Many-tasks

Message-passing

Scheduling

Load balancing

Résumé

Les supercalculateurs deviennent de plus en plus complexes à utiliser. C’est pourquoi l’utilisation de modèle de programmation dit hybride, MPI + X, sont mis en place dans les applications. Ces nouveaux types de modèle permettent une utilisation plus efficace d’un supercalculateur, mais créent aussi de nouveaux problèmes lors de l’exécution des applications. Ces problèmes sont de différents types. Nous étudierons plus précisément trois problèmes liés aux programmations MPI + X. La progression des communications non bloquante de MPI au sein de l’environnement X. Puis deux types de déséquilibre possible dans les applications MPI+X. Le premier étant entre les processus MPI et le second au sein d’un processus MPI, c’est-à-dire le déséquilibre en sein de X. Une solution dans le cas d’un environnement X en tâches récursives sera tout d’abord présentée pour le problème de progression de communication MPI à l’aide d’insertion de tâche de progression dans l’environnement X. Lors du déséquilibre entre processus MPI, une solution de rééquilibrage de ressources au sein d’un nœud sera présentée. Enfin, pour le déséquilibre dans l’environnement X, une solution permettant d’utiliser le déséquilibre pour exécuter une seconde application sera également présentée.

Supercomputers are becoming more and more complex to use. This is why the use of so-called hybrid programming models, MPI + X, are being implemented in applications. These new types of models allow a more efficient use of a supercomputer, but also create new problems during the execution of applications. These problems are of different types. More specifically, we will study three problems related to MPI + X programming. The progression of non-blocking MPI communications within the X environment. Then two types of possible imbalance in MPI+X applications. The first being between MPI processes and the second within an MPI process, i.e., imbalance within X. A solution in the case of an X environment in recursive tasks will first be presented for the MPI communication progress problem using progress task insertion in the X environment. For the imbalance between MPI processes, a solution for resource rebalancing within a node will be presented. Finally, for the imbalance in the X environment, a solution to use the imbalance to run a second application will also be presented.