Gestion de ressources des systèmes de traitement de données en flux dans les environnements géo-distribués

Resource management of data stream processing in geo-distributed environments

• Auteur / Autrice : Hamidreza Arkian
• Direction : Guillaume Pierre, Erik Elmroth, Johan Tordsson
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 07/12/2021
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : MATHSTIC
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - MYRIADS
• Partenaire(s) de recherche : Equipe de recherche : MYRIADS
• Jury : Président / Présidente : François Taïani
• Jury : Examinateurs / Examinatrices : Valeria Cardellini, Cédric Tedeschi
• Jury : Rapporteur / Rapporteuse : Romain Rouvoy, Laurent Lefèvre

Mots clés

Mots clés contrôlés

Méthode de traitement de données par groupe

Informatique géodistribuée

Mots clés libres

Fog Computing

Traitement de Données en Flux

Gestion des Ressources

Modélisation de Performance

Mise à l’échelle Automatique

Banc d’Essai Expérimental

Fog Computing

Data Stream Processing

Resource Management

Performance Modeling

Auto-Scaling

Experimental Testbed

Résumé

Le déploiement de systèmes de traitement de données en flux (DSP) dans des infrastructures informatiques géo-distribuées peut combler le fossé entre le Cloud et les périphériques et réduire les transferts de données sur de longues distances, ce qui est un défi critique pour les nouvelles applications IoT émergentes où les sources de données sont situées loin des serveurs Cloud. Cependant, en raison des latences réseau hétérogènes rencontrées par les ressources et des variations de charge de travail imprévisibles rencontrées par les applications, l’utilisation optimale des ressources dans ces environnements d’une manière qui répond à certaines exigences de QoS lors de l’exécution d’applications DSP reste un défi. Dans cette thèse, nous avons abordé ce problème à travers trois contributions. Tout d’abord, nous avons proposé un modèle de performance pour capturer les performances DSP dans des environnements géo-distribués. Deuxièmement, nous avons conçu un auto-scaler DSP basé sur ce modèle pour gérer les charges de travail non stationnaires des nouveaux scénarios d’applications IoT. Enfin, nous avons développé un banc d’essai de Fog Computing expérimental générique personnalisé pour prendre en charge diverses expérimentations DSP.

The deployment of Data Stream Processing (DSP) frameworks in geo-distributed computing infrastructures can bridge the gap between Cloud and edge devices and reduce data transfers over long distances, which is a critical challenge for new emerging IoT applications where the data sources are located far from Cloud servers. However, due to the heterogeneous network latencies experienced by the resources and unpredictable workload variations experienced by the applications, optimal resource usage in these environments in a way that meets certain QoS requirements when running DSP applications remains a challenge. In this thesis, we addressed this problem over three contributions. First, we proposed a performance model to capture DSP performance in geo-distributed environments. Second, we designed a model-based DSP auto-scaler to deal with non-stationary workloads of new IoT application scenarios. Finally, we developed a generic experimental Fog computing testbed customized to support various DSP experimentations.