Développement d’une méthode de distribution de métadonnée équilibrée pour un flux de requêtes exascale

Development of a well-balanced metadata distribution method for an exascale requests flow.

• Auteur / Autrice : Eloïse Billa
• Direction : Soraya Zertal
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/12/2020
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’informatique parallélisme réseaux algorithmes distribués (Saint-Quentin en Yvelines, Yvelines ; 2015-....) - Laboratoire d'Informatique Parallélisme Réseaux Algorithmes Distribués / LI-PaRAD
• Partenaire(s) de recherche : Référent : Université de Versailles-Saint-Quentin-en-Yvelines (1991-....)
• Jury : Président / Présidente : William Jalby
• Jury : Examinateurs / Examinatrices : Hamamache Kheddouci, Zineb Habbas, Tarek Menouer, Sebastien Gougeaud
• Jury : Rapporteur / Rapporteuse : Hamamache Kheddouci, Michaël Krajecki

Mots clés

Mots clés contrôlés

Distribution (informatique)

Stockage

Calcul intensif (informatique)

Répartition de charge (informatique)

Gestion

Métadonnées

Mots clés libres

Équilibrage de charge

Stockage en HPC

Stockage objet

Outil d’évaluation

Gestion des Metadonnées

Méthode de distribution

Evaluation tool

Object storage

Metadata management

Distribution method

Load balancing

Storage in HPC

Résumé

Dans le domaine du calcul haute performance (HPC), le stockage de plus en plus de données devient un facteur de performance à prendre en compte. Pour cela, l’utilisation des systèmes de stockage objet et des services de métadonnées distribués permet de pallier les limitations induites par la norme POSIX et d’améliorer la concurrence des accès. Toutefois, cela engendre de nouvelles problématiques telles que la distribution des métadonnées et l’équilibrage de charge des serveurs de métadonnées (MDS). Cette thèse a pour objectif de concevoir une nouvelle méthode de distribution des métadonnées permettant un équilibrage de lacharge des serveurs sur un flux de requêtes HPC EXASCALE. Dans cette optique, nous avons développé la méthode Distribution adaptative à la charge (ou LAD) effectuant des redistributions de charge seulement quand cela est nécessaire, ainsi que sa variante avec fenêtre temporelle LAD-TW permettant une meilleure évaluation de la charge des serveurs. Afin d’évaluer nos méthodes et de les comparer à celles de l’état de l’art, nous avons conçu et développé MeDiE (pour Metadata Distribution Evaluator), un outil d’évaluation pour les méthodes de distribution des métadonnées. Il permet une étude de la répartition de la charge des différents serveurs, selon plusieurs flux de requêtes caractéristiques. Nous avons ainsi pu observer l’apport des méthodes LAD et LAD-TW par rapport aux méthodes de l’état de l’art testées.

In the high-performance computing field (HPC), storage systems are an important performance factor. Using object storage systems coupled to distributed metadata services enable to overcome limitations induced by the POSIX norm, and to improve the data access concurrency. But this solution comes with its own drawbacks : it requires to deal with metadata distributions and load-balancing for metadata servers (MDS). This work aims to design a new metadata distribution method enabling toefficiently load balance requests between MDS for exascale HPC request flows. In this way, we develop a method named Load-Adaptive Distribution (or LAD), which rebalances the workload only when it is required, and its extension named Load-Adaptive Distribution with Temporal Window (or LAD-TW), which provides a betterworkload evaluation. In order to evaluate our methods and compare them with some state-of-the-art methods, we have developed MeDiE, for Metadata Distribution Evaluator, an evaluation tool dedicated to metadata distribution methods. It enables load-balancing analysis on different and representative request flows and allows us to prove the benefit of using the LAD and LAD-TW methods.