Allocation de ressources par une approche hybride apprentissage automatique et optimisation pour l’hébergement et l’infogérance de services web

Resource allocation using a hybrid machine learning and optimization approach for hosting and managed web services

• Auteur / Autrice : Etienne Leclercq
• Direction : Céline Rouveirol, Frédéric Roupin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/10/2022
• Etablissement(s) : Paris 13
• Ecole(s) doctorale(s) : École doctorale Galilée (Villetaneuse, Seine-Saint-Denis)
• Partenaire(s) de recherche : Laboratoire : Laboratoire informatique de Paris-Nord (Villetaneuse, Seine-Saint-Denis ; 2001-....)
• Jury : Examinateurs / Examinatrices : Frédéric Roupin, Jonathan Rivalan, Samir Loudni, Zacharie Ales
• Jury : Rapporteurs / Rapporteuses : Samir Loudni, Jérôme Malick

Mots clés

Mots clés contrôlés

Systèmes virtuels (informatique)

Allocation des ressources

Informatique dans les nuages

Mots clés libres

Optimisation

Clustering

Conteneurs

Optimization

Clustering

Containeurs

Résumé

L'un des principaux défis du cloud computing est la gestion des ressources, qui s'inquiète principalement de la planification des charges de travail et du placement des services sur l'infrastructure. Ces dernières années, l'émergence de la virtualisation légère, à travers les conteneurs, a remis en avant le problème d'allocation des ressources, en introduisant notamment l'élasticité. Cette notion nouvelle pour la virtualisation a entraîné de nouvelles contraintes pour ce problème d'allocation, comme l'absence de connaissance a priori sur les ressources effectivement consommées par les individus. Pour répondre à cette problématique et obtenir une gestion optimisée du placement de conteneurs sur une infrastructure, une méthodologie en deux étapes est développée, combinant des techniques d'apprentissage non supervisé et d'optimisation. Une heuristique de placement offline est développée, utilisant un clustering des conteneurs en fonction de leur profil de consommation, afin d'obtenir une première solution de placement prenant en compte ces profils. Cette solution de placement est mise à jour dans le temps par un système de boucle, combinant l'évolution du clustering avec des techniques d'optimisation dans un mode online. Le clustering est lui aussi maintenu à jour grâce à des méthodes d'optimisation en fonction de l'évolution de consommation des conteneurs. Nous implémentons notre méthode sous la forme d'une librairie Python appelée Continuous Optimization for Time Series (COTS), dont l'interface d'entrée paramétrable permet son utilisation et évaluation dans différents contextes de jeux de données et de configurations. À travers la définition et la comparaison de plusieurs critères liés au domaine de l'hébergement en micro-services nous évaluons l'efficacité de notre méthode par rapport à l'état de l'art. Nous montrons ainsi une amélioration de l'efficacité énergétique allant de 5% à 30% en fonction des contextes métiers. Globalement, en considérant l'ensemble des critères, les performances sont améliorées en moyenne de 9,1% par notre méthode. Une analyse détaillée de ces résultats et de divers indicateurs métiers ou algorithmiques précise le comportement de notre méthode et son utilisabilité sur différents scénarios hérités d'environnements de production réel

One of the main challenge in cloud computing is resource management, mainly composed of scheduling workloads and services over the infrastructure. Recent years light virtualisation emergence, through containers, has brought back the resource allocation problem, notably by introducing elasticity. This new virtualization concept has led to new constraints for this allocation problem, such as the absence of a priori knowledge on the resources actually consumed by individuals.To answer this problem and obtain an optimized management of containers assignment on an infrastructure, a two-step methodology is developed, combining unsupervised learning and optimization techniques.An offline assignment heuristic is developed, using a containers clustering according to their consumption profile, in order to obtain a first assignment solution taking these profiles into account.This assignment solution is updated over time by a retro-action loop system, combining the clustering evolution with optimization techniques in an online mode. Clustering is also kept up to date thanks to optimization techniques according to the containers consumptions evolution.We implement our method through the Python library COTS, which configurable interface allows for its use and evaluation with various datasets and parameters.Through the definition and comparison of several criteria related to the micro-services hosting domain, we provide the evaluation of our method efficiency compared to the state of the art.Among these criteria, we show an improvement in energy efficiency from 5% up to 30%. Globally, considering all criteria, performance is improved by an average of 9.1% by our method. A deep analysis of these results and various domain or algorithmic indicators specifies of our method behavior and its usability on different use cases from a real production environment