Amélioration de la consommation mémoire et de l'extensibilité des performances des applications HPC par le multi-threading des communications réseaux
Auteur / Autrice : | Sylvain Didelot |
Direction : | William Jalby |
Type : | Thèse de doctorat |
Discipline(s) : | Informatique |
Date : | Soutenance le 12/06/2014 |
Etablissement(s) : | Versailles-St Quentin en Yvelines |
Ecole(s) doctorale(s) : | Ecole doctorale sciences et technologies de Versailles (2010-2015) |
Partenaire(s) de recherche : | Equipe de recherche : Laboratoire Parallélisme, Réseaux, Systèmes, Modélisation (PRISM) |
Laboratoire : Parallélisme, Réseaux, Systèmes d'information, Modélisation (PRISM) | |
Jury : | Président / Présidente : Alain Bui |
Examinateurs / Examinatrices : Marc Pérache, Patrick Carribault | |
Rapporteurs / Rapporteuses : Brice Goglin, Torsten Hoefler |
Résumé
La tendance en HPC est à l'accroissement du nombre de coeurs par noeud de calcul pour une quantité totale de mémoire par noeud constante. A large échelle, l'un des principaux défis pour les applications parallèles est de garder une faible consommation mémoire. Cette thèse présente une couche de communication multi-threadée sur Infiniband, laquelle fournie de bonnes performances et une faible consommation mémoire. Nous ciblons les applications scientifiques parallélisées grâce à la bibliothèque MPI ou bien combinées avec un modèle de programmation en mémoire partagée. En partant du constat que le nombre de connexions réseau et de buffers de communication est critique pour la mise à l'échelle des bibliothèques MPI, la première contribution propose trois approches afin de contrôler leur utilisation. Nous présentons une topologie virtuelle extensible et entièrement connectée pour réseaux rapides orientés connexion. Dans un contexte agrégeant plusieurs cartes permettant d'ajuster dynamiquement la configuration des buffers réseau utilisant la technologie RDMA. La seconde contribution propose une optimisation qui renforce le potentiel d'asynchronisme des applications MPI, laquelle montre une accélération de deux des communications. La troisième contribution évalue les performances de plusieurs bibliothèques MPI exécutant une application de modélisation sismique en contexte hybride. Les expériences sur des noeuds de calcul jusqu'à 128 coeurs montrent une économie de 17 % sur la mémoire. De plus, notre couche de communication multi-threadée réduit le temps d'exécution dans le cas où plusieurs threads OpenMP participent simultanément aux communications MPI.