Prédiction de performances d’applications de calcul distribué exécutées sur une architecture pair-à-pair

Performance prediction of distributed computing applications executed on a peer-to-peer architecture

• Auteur / Autrice : Bogdan Florin Cornea
• Direction : Julien Bourgeois
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/12/2011
• Etablissement(s) : Besançon
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : FEMTO-ST : Franche-Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies (Besançon) - Laboratoire d'Informatique de Franche-Comté
• Jury : Président / Présidente : Pascal Felber
• Jury : Examinateurs / Examinatrices : Pascal Felber, Jean-François Méhaut, Didier El Baz, Martin Quinson, Jean-Marc Vincent
• Jury : Rapporteurs / Rapporteuses : Pascal Felber, Jean-François Méhaut

Mots clés

Mots clés contrôlés

Fortran (langage de programmation)

C plus-plus (langage de programmation)

C (langage de programmation)

Mots clés libres

Réduction du slowdown

Analyse statique

Instrumentation automatique

Extrapolation de performance

Simulation basée sur fichiers de trace

Prédiction de performances

Langages C, C++, Fortran

Systèmes hétérogènes

Environnement décentralisé

Calcul pair-à-pair de haute performance

Slowdown reduction

Static analysis

Performance scaling

Performance prediction

C language

C++ language

High performance P2P computing

Résumé

Dans le domaine du calcul de haute performance, les architectures d’exécution sont en continuelle évolution. L’augmentation du nombre de nœuds de calcul, ou le choix d’une topologie réseau plus rapide représentent un investissement important tant en temps qu’en moyen financier. Les méthodes de prédiction de performances permettent de guider ce choix. En parallèle à ce développement, les systèmes HPC pair-à-pair (P2P) se sont également développés ces dernières années. Ce type d’architecture hétérogène permettrait la résolution des problèmes scientifiques pour un coût très faible par rapport au coût d’une architecture dédiée.Ce manuscrit présente une méthode nouvelle de prédiction de performances pour les applications réelles de calcul distribué, exécutées dans des conditions réelles. La prédiction prend en compte l’optimisation du compilateur. Les résultats sont extrapolables et ils sont obtenus pour un ralentissement réduit. Ce travail de recherche est implémenté dans un logiciel nouveau nommé dPerf. dPerf est capable de prédire les performances des applications C, C++ ou Fortran qui communiquent en utilisant les normes MPI ou P2P-SAP et qui s’exécutent sur une architecture cible pair à pair, hétérogène et décentralisée. La précision de cette contribution a été étudiée sur (i) la transformée Laplace, pour l’aspect séquentiel, (ii) le benchmark IS de NAS, pour l’aspect MPI, (iii) et le code de l’obstacle pour l’aspect calcul P2P décentralisé et l’extrapolation du nombre de nœuds.

In the field of high performance computing, the architectures evolve continuously. In order to increase the number of computing nodes or the network speed, an important investment must be considered, from both temporal and financial point of view. Performance prediction methods aim at assisting in finding the best trade-off for such an investment. At the same time, P2P HPC systems have known an increase in development. These heterogeneous architectures would allow solving scientific problems at a low cost, with respect to dedicated systems.The manuscript presents a new method for performance prediction. This method applies to real applications for distributed computing, considered in a real execution environment. This method uses information about the different compiler optimization levels. The prediction results are obtained with reduced slowdown and are scalable. This thesis took shape in the development of the dPerf tool. dPerf predicts the performances of C, C++, and Fortran application, which use MPI or P2P-SAP to communicate. The applications modeled by dPerf are meant for execution on P2P heterogeneous architectures, with a decentralized communication topology. The accuracy of dPerf has been studied on three applications: (i) the Laplace transform, for sequential codes, (ii) the NAS Integer Sort benchmark for distributed MPI programs, (iii) and the obstacle problem, for the decentralized P2P computing and the scaling of the number of computing nodes.