Contributions to the management of stream processing pipelines in fog computing environments

Contributions à la gestion des pipelines de traitement de flux dans les environnements de fog computing

• Auteur / Autrice : Davaadorj Battulga
• Direction : Cédric Tedeschi, Daniele Miorandi
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/03/2023
• Etablissement(s) : Université de Rennes (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - MYRIADS
• Jury : Président / Présidente : Guillaume Pierre
• Jury : Examinateurs / Examinatrices : Hélène Coullon
• Jury : Rapporteur / Rapporteuse : Christian Pérez, Pierre Sens

Mots clés

Mots clés contrôlés

Architecture dataflow

Informatique géodistribuée

Mots clés libres

Traitement de flux de données

Fog computing

Plates-Formes géo-Distribuées

Caclul distribué

Adaptation dynamique

Stream Processing

Fog computing

Geo-Distributed platforms

Distributed Computing

Dynamic adaptation

Résumé

Le domaine du traitement de flux de données (ou stream processing (SP)) a émergé comme une réponse au besoin de développer et de déployer des applications pour le traitement en temps-réel de données générés en continu. Alors qu’aujourd’hui les outils du stream processing ont atteint un degré de maturité et d’utilisabilité significatifs leur permettant de gérer un grand volume de donnés en temps réel, ils ne sont pas adaptés aux plates-formes géographiquement distribuées, comme celles supportant le Fog computing. Les travaux décrits dans cette thèse contribuent à construire des plates-formes pour le Fog computing spécialisées pour le traitement de flux de données, à renforcer leurs propriétés de passage à l’échelle, d’autonomie et de programmabilité. Premièrement, en terme de passage à l’échelle, et afin d’avancer vers la possibilité de déploiement d’applications de traitement de flux de données sur des plates-formes de type Fog, nous proposons un nouveau modèle architectural fondé sur la coordination de plusieurs sites de calcul, au- dessus desquels une application pourra être déployée de façon unifiée. Deuxièmement, sur l’aspect autonomie, et afin de gérer le temps d’exécution de l’application après son déploiement initial, nous proposons un mécanisme d’adaptation dans lequel les sites de calcul collaborent pour assurer la reconfiguration efficace du déploiement de l’application. Enfin, ces travaux explorent le versant pratique de la problématique. Nous discutons la conception générique et l’implémentation dans un contexte réel de ville intelligente d’un nœud de calcul pour le Fog.

Stream processing answers the need for quickly developing and deploying applications for real-time processing of continually created data. While its ability to handle a high volume of data in real-time makes it the perfect technology for IoT use cases, it is still not adapted to geographically dispersed platforms including low-power compute nodes, such as Fog environments, which are yet the natural playground for IoT. In this work, we contribute to the building of Fog platforms managing Stream Process- ing Pipelines, addressing the key properties of scalability, autonomy, and programmability. Firstly, to address scalability and move one step towards the deployment of stream pro- cessing applications over Fog platforms, we propose a new architectural model based on the coordination of multiple computing sites to deploy the stream processing pipelines over a geo-distributed environment. Secondly, to address autonomy and manage the life of an application after its initial deployment, we devise an adaptation mechanism where sites collaborate together to enable the efficient reconfiguration of the deployment of the SP pipeline. Finally, on a more practical side, we discuss the implementation of a Fog node from the ground up so as to build a compute node that could be a generic compute node to be located at the edge specialized in the local processing of data streams, in particular in the context of Smart Cities.