Malléabilité des Systèmes de Stockage Distribués ˸ Des Modèles à la Pratique

Towards Malleable Distributed Storage Systems˸ From Models to Practice

• Auteur / Autrice : Nathanaël Cheriere
• Direction : Gabriel Antoniu, Matthieu Dorier
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/11/2019
• Etablissement(s) : Rennes, École normale supérieure
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Laboratoire : Université de Rennes - École normale supérieure - Rennes - Institut de Recherche en Informatique et Systèmes Aléatoires - Scalable Storage for Clouds and Beyond
• Jury : Président / Présidente : François Taïani
• Jury : Examinateurs / Examinatrices : Kate Keahey
• Jury : Rapporteurs / Rapporteuses : Toni Cortes, Frédéric Desprez

Mots clés

Mots clés contrôlés

Informatique dans les nuages

Ordinateurs -- Mémoires

Mots clés libres

Systèmes de Stockage Distribués

Malléabilité

Elasticité

Modélisation

Benchmark

Distributed Storage Systems

Malleability

Elasticity

Modeling

Benchmarking

Résumé

Le Cloud, avec son modèle économique, offre la possibilité d’un gestion élastique des ressources; les utilisateurs peuvent louer des ressources selon leurs besoins. Cette élasticité permet de réduire les coûts énergétiques et financiers, et aide les applications à s’adapter aux charges de travail variables.Les applications manipulant de grandes quantités de données exécutées dans le Cloud ou sur des supercalculateurs sont souvent colocalisées avec un système de stockage distribué pour garantir un accès rapide aux données. Bien que de nombreux travaux aient été proposés pour redimensionner dynamiquement les capacités de calcul pour s’ajuster à la charge de travail, le stockage n’est pas considéré comme malléable (capable d’être redimensionné dynamiquement) puisque les transferts de grandes quantités de données nécessaires sont considérés trop lents. Cependant, le matériel et les techniques de stockage ont évolué et cette hypothèse doit être réévaluée.Dans cette thèse, nous présentons une étude sous différents angles des opérations de redimensionnement des systèmes de stockage distribués.Nous commençons par modéliser la durée minimale de ces opérations pour évaluer leur vitesse potentielle. Puis, nous développons un benchmark conçu pour mesurer la viabilité de la malléabilité d’un système de stockage sur une plateforme donnée. Finalement, nous implémentons un gestionnaire d’opérations de redimensionnement pour systèmes de stockage distribués qui décide et organise les transferts de données requis par ces opérations.

The Cloud, with its pay-as-you-go model, gives the possibility of elastic resource management; users can claim and release resources as needed. This elasticity leads to financial and energetical cost reductions, and helps applications to cope with varying workloads.Distributed cloud and HPC applications processing large amounts of data are often co-located with a distributed storage system in order to ensure fast data accesses. Although many works have been proposed to dynamically rescale the processing part of such systems to match their workload, the storage is never considered as malleable (able to be dynamically rescaled) since moving massive amounts of data around is assumed to be too slow in practice. However, in recent years hardware and storage techniques have evolved and this assumption needs to be revisited.In this thesis, we present a study of the rescaling operations in distributed storage systems approached from different angles. We start by modeling the minimal duration of rescaling operations to estimate their potential speed. Then, we develop a benchmark to measure the viability of distributed storage system malleability on a given platform. Last, we implement a rescaling manager for distributed storage systems that decides and organizes the data transfers required during a rescaling operation.