Scalabilité efficace des intergiciels de communication asynchrone pour le continuum Cloud-Fog-Edge

Efficient Scaling of Message-Oriented Middleware for the Cloud-Fog-Edge Continuum

• Auteur / Autrice : Armel Nguetoum
• Direction : Vania Marangozova, Daniel Hagimont
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/01/2025
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble
• Partenaire(s) de recherche : Equipe de recherche : Efficient and RObust Distributed Systems

Mots clés

Mots clés libres

Systèmes distribués

Cloud

Communication asynchrone

IoT

Performances

Mom

IoT

Distributed systems

Cloud

Performances

Asynchronous communication

Mom

Résumé

Depuis plusieurs décennies, les MOM fournissent une interaction fluide entre les entités d'un système informatique. C'est le cas par exemple dans les infrastructures d'Internet des Objets (IoT) où des MOM jouent les intermédiaires entre les objets connectés et le système d'information. Avec l'évolution du paysage informatique et l'explosion du nombre de dispositif déployés dans le Edge, la question de la scalabilité d'un MOM devient un vrai défi. La scalabilité d'un MOM est sa capacité à fournir un niveau de performance en fonction des ressources matérielles (CPU, Mémoire, Réseaux, Disque) dont il dispose et le nombre de clients qu'il doit servir. Cette scalabilité peut s'exprimer de manière horizontale, qui permet de faire croître les performances de l'architecture en augmentant le nombre de serveurs, ou alors de manière verticale, qui vise à utiliser au mieux les ressources disponibles. En dépit de leur popularité dans les systèmes d'information actuels, la scalabilité des MOM a reçu très peu d'attention cette dernière décennie. Cela peut s'expliquer par un contexte où les capacités des machines n'ont cessé d'augmenter et où peu de contraintes sont imposées aux quantités de ressources allouées aux MOM. Or, avec l'explosion des IoT et des quantités des données à acheminer, la question du déploiement des MOM plus près des clients et sur des nœuds contraints devient une priorité. Or, la scalabilité des MOM ne peut directement bénéficier du riche état de l'art qui existe autour des middlewares classiques. En effet : • Un MOM distribué nécessite de nombreux échanges entre ses serveurs pour fonctionner. La scalabilité horizontale des MOM rend le coût de communication insoutenable ce qui conduit souvent à offrir des fonctionnalités réduites ou bridées aux clients. • Contrairement à la plupart des autres middlewares les MOM ont un comportement asynchrone et des propriétés spécifiques (couplage faible, “store and forward”, etc.) Ces modèles, et les mécanismes de mise à l'échelle, sont très étudiés. • Les MOM sont très dépendants des performances des IO, à la fois réseau et disque. Au niveau du disque, contrairement aux systèmes de stockage traditionnels (base de données par exemple) ou les lectures sont prépondérantes, un MOM fait beaucoup d'écriture et peu de lectures. L'objectif de cette thèse est d'étudier les limites à la scalabilité verticale d'un MOM et de proposer des mécanismes pour maximiser son efficience sur une plateforme donnée. En particulier, la thèse propose d'étudier, d'une part, l'interaction entre MOM et système d'exploitation et l'impact de différents mécanismes innovants, tant au niveau matériel que logiciel sur les performances. D'autre part, le travail se penchera sur l'architecture interne d'un MOM, avec un accent sur la gestion interne du parallélisme et des interactions entre composants. Le travail de thèse inclura un travail de l'état de l'art sur les MOM, un travail expérimental important de caractérisation des performances des MOM dans différents environnements, l'analyse et l'abstraction d'une architecture générique de MOM, et enfin la proposition de mécanismes d'auto-scalabilité de cette architecture en fonction des conditions (nœud) d'exécution.

For several decades, MOMs have provided a fluid interaction between the entities of a computer system. This is the case, for example, in Internet of Things (IoT) infrastructures where MOMs act as intermediaries between connected objects and information systems. With the evolution of the IT landscape and the explosion in the number of devices deployed at the Edge, the question of the scalability of a MOM becomes a real challenge. The scalability of a MOM is its ability to provide a level of performance based on the hardware resources (CPU, Memory, Networks, Disk) it has and the number of clients it must serve. This scalability can be expressed horizontally, which allows the performance of the architecture to go higher by increasing the number of servers, or vertically, which aims to optimally use the available resources. Despite their popularity, MOM scalability has received little attention in the last decade. This can be explained by a context where machine capacities have continued to grow thus imposing few resource constraints to MOMs. However, with the explosion of IoT and the adent of Big, the question of deploying MOMs closer to clients at the edge and thus on constrained nodes becomes a priority. MOMs cannot directly benefit from the rich state of the art on scalability for classic middleware. Indeed: • A distributed MOM requires numerous exchanges between its servers. The horizontal scalability comes with an exorbitant communication cost, which often leads to degraded QoS. • Unlike most other middlewares, MOMs have asynchronous behavior and offer specific properties (weak coupling, “store and forward”, etc.) The scaling of such models has not been well studied. • Finally, MOMs are highly dependent on IO performance of both network and disk. At the disk level, unlike traditional storage systems (e.g. databases) where reads are predominant, a MOM does a lot of writes and few reads. The objective of this thesis is to study and propose efficient mechanisms for MOM vertical scalability. In particular, the thesis is to study, on the one hand, the interaction between a MOM and the operating system and the impact of different innovative mechanisms, both at the hardware and software level, on performance. On the other hand, the work will focus on the internal architecture of a MOM, with an emphasis on the parallelism and interactions between components. The thesis work will include a state-of-the-art work on MOMs, a significant experimental work of characterization of the performances of MOMs in different environments, the analysis and abstraction of a generic MOM architecture, and finally the proposal of auto-scaling mechanisms.