Contribution au déploiement d'un intergiciel distribué et hiérarchique, appliqué aux simulations cosmologiques

Contribution to the Deployment of a Distributed and Hierarchical Middleware Applied to Cosmological Simulations

• Auteur / Autrice : Benjamin Depardon
• Direction : Eddy Caron
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2010
• Etablissement(s) : Lyon, Ecole normale supérieure
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'informatique du parallélisme (Lyon ; 1988-....)

Mots clés

Mots clés contrôlés

Autostabilisation (informatique)

Logiciels médiateurs

Mots clés libres

Intergiciel de grille

Déploiement

Partitionnement de graphes

K-clustering

Ordonnancement

Simulations cosmologiques

Grid middleware

Deployment

Graph clustering

Self-stabilization

Scheduling

Cosmological simulations

Résumé

Les travaux présentés dans cette thèse portent sur l’exécution d’applications sur les environnements hétérogènes et distribués que sont les grilles de calcul. Nous étudions de bout en bout le processus permettant à des utilisateurs d’exécuter des applications scientifiques complexes. Les contributions de cette thèse se situent donc à plusieurs niveaux. 1) Déploiement d’intergiciel hiérarchique : nous proposons dans un premier temps un modèle d’exécution pour les intergiciels hiérarchiques. À partir de ce modèle, nous présentons plusieurs heuristiques pour définir automatiquement la meilleure hiérarchie en fonction des exigences des utilisateurs et du type de plate-forme. Nous évaluons la qualité de ces heuristiques en conditions réelles avec l’intergiciel DIET. 2) Partitionnement de graphe : nous proposons un algorithme distribué et auto-stabilisant pour partitionner un graphe quelconque ayant des arêtes pondérées entre les noeuds. Le partitionnement est réalisé en fonction des distances pondérées entre les noeuds et forme des grappes au sein desquelles les noeuds sont à une distance maximale k d’un noeud élu dans la grappe. 3) Ordonnancement : nous étudions l’ordonnancement de tâches indépendantes sous des contraintes de limitation d’utilisation des ressources. Nous définissons des formulations en programme linéaire pour résoudre ce problème dans deux cas : lorsque les tâches arrivent toutes en même temps et lorsqu’elles ont des dates d’arrivée. 4) Simulations cosmologiques : nous avons étudié le comportement d’applications nécessaires à l’exécution de workflows de simulations cosmologiques. Puis, en se basant sur l’intergiciel de grille DIET, nous avons mis en place une infrastructure complète permettant à des utilisateurs non expérimentés de soumettre facilement des simulations cosmologiques sur une grille de calcul.

The results presented in this thesis deal with the execution of applications on heterogeneous and distributed environments: computing grids. We study, from end-to-end, the process allowing users to execute complex scientific applications. The contributions of this work are thus manifold. 1) Hierarchical middleware deployment: we first present an execution model for hierarchical middleware. Then, based on this model, we present several heuristics to automatically determine the shape of the hierarchy that would best fit the users’ needs, depending on the platform it is executed on. We evaluate the quality of the approach on a real platform using the DIET middleware. 2) Graph clustering: we propose a distributed and self-stabilizing algorithm for clustering weighted graphs. Clustering is done based on a distance metric between nodes: within each created cluster the nodes are no farther than a distance k from an elected leader in the cluster. 3) Scheduling: we study the scheduling of independent tasks under resources usage limitations. We define linear programs to solve this problem in two cases: when tasks arrive all at the same time, and when release dates are considered. 4) Cosmological simulations: we have studied the behavior of applications required to run cosmological simulations workflows. Then, based on the DIET grid middleware, we implemented a complete infrastructure allowing non-expert users to easily submit cosmological simulations on a computing grid.