Apprentissage sur heuristiques simples pour l'ordonnancement online de tâches parallèles

Learning about simple heuristics for online parallel job scheduling

• Auteur / Autrice : Danilo Carastan dos Santos
• Direction : Denis Trystram, Raphael Yokoingawa De Camargo
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/11/2019
• Etablissement(s) : Université Grenoble Alpes (ComUE) en cotutelle avec Universidade Federal do ABC
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble - Center for Mathematics, Computation and Cognition (Brésil)
• Partenaire(s) de recherche : Equipe de recherche : DATAMOVE - Laboratório de Programação Paralela e Distribuida
• Jury : Président / Présidente : Alfredo Goldman
• Jury : Examinateurs / Examinatrices : Sarita Bruschi, Éric Gaussier
• Jury : Rapporteurs / Rapporteuses : Alfredo Goldman, Martin Schulz

Mots clés

Mots clés contrôlés

Ordonnancement (informatique)

Apprentissage automatique

Mots clés libres

Apprentissage Automatique

Ordonnancement

Scheduling

High Performance Computing

Résumé

Les plate-formes de Calcul Haute Performance (High Performance Computing, HPC) augmentent en taille et en complexité. De manière contradictoire, la demande en énergie de telles plates-formes a également rapidement augmenté. Les supercalculateurs actuels ont besoin d’une puissance équivalente à celle de toute une centrale d’énergie. Dans le but de faire un usage plus responsable de ce puissance de calcul, les chercheurs consacrent beaucoup d’efforts à la conception d’algorithmes et de techniques permettant d’améliorer différents aspects de performance, tels que l’ordonnancement et la gestion des ressources. Cependent, les responsables des plate-formes HPC hésitent encore à déployer des méthodes d’ordonnancement à la fine pointe de la technologie et la plupart d’entre eux recourent à des méthodes heuristiques simples, telles que l’EASY Backfilling, qui repose sur un tri naïf premier arrivé, premier servi. Les nouvelles méthodes sont souvent complexes et obscures, et la simplicité et la transparence de l’EASY Backfilling sont trop importantes pour être sacrifiées.Dans un premier temps, nous explorons les techniques d’Apprentissage Automatique (Machine Learning, ML) pour apprendre des méthodes heuristiques d’ordonnancement online de tâches parallèles. À l’aide de simulations et d’un modèle de génération de charge de travail, nous avons pu déterminer les caractéristiques des applications HPC (tâches) qui contribuent pour une réduction du ralentissement moyen des tâches dans une file d’attente d’exécution. La modélisation de ces caractéristiques par une fonction non linéaire et l’application de cette fonction pour sélectionner la prochaine tâche à exécuter dans une file d’attente ont amélioré le ralentissement moyen des tâches dans les charges de travail synthétiques. Appliquées à des traces de charges de travail réelles de plate-formes HPC très différents, ces fonctions ont néanmoins permis d’améliorer les performances, attestant de la capacité de généralisation des heuristiques obtenues.Dans un deuxième temps, à l’aide de simulations et de traces de charge de travail de plusieurs plates-formes HPC réelles, nous avons effectué une analyse approfondie des résultats cumulés de quatre heuristiques simples d’ordonnancement (y compris l’EASY Backfilling). Nous avons également évalué des outres effets tels que la relation entre la taille des tâches et leur ralentissement, la distribution des valeurs de ralentissement et le nombre de tâches mises en calcul par backfilling, par chaque plate-forme HPC et politique d’ordonnancement. Nous démontrons de manière expérimentale que l’on ne peut que gagner en remplaçant l’EASY Backfilling par la stratégie SAF (Smallest estimated Area First) aidée par backfilling, car elle offre une amélioration des performances allant jusqu’à 80% dans la métrique de ralentissement, tout en maintenant la simplicité et la transparence d’EASY Backfilling. La SAF réduit le nombre de tâches à hautes valeurs de ralentissement et, par l’inclusion d’un mécanisme de seuillage simple, nous garantonts l’absence d’inanition de tâches.Dans l’ensemble, nous avons obtenu les remarques suivantes : (i) des heuristiques simples et efficaces sous la forme d’une fonction non linéaire des caractéristiques des tâches peuvent être apprises automatiquement, bien qu’il soit subjectif de conclure si le raisonnement qui sous-tend les décisions d’ordonnancement de ces heuristiques est clair ou non. (ii) La zone (l’estimation du temps d’exécution multipliée par le nombre de processeurs) des tâches semble être une propriété assez importante pour une bonne heuristique d’ordonnancement des tâches parallèles, car un bon nombre d’heuristiques (notamment la SAF) qui ont obtenu de bonnes performances ont la zone de la tâche comme entrée (iii) Le mécanisme de backfilling semble toujours contribuer à améliorer les performances, bien que cela ne remédie pas à un meilleur tri de la file d’attente de tâches, tel que celui effectué par SAF.

High-Performance Computing (HPC) platforms are growing in size and complexity. In an adversarial manner, the power demand of such platforms has rapidly grown as well, and current top supercomputers require power at the scale of an entire power plant. In an effort to make a more responsible usage of such power, researchers are devoting a great amount of effort to devise algorithms and techniques to improve different aspects of performance such as scheduling and resource management. But HPC platform maintainers are still reluctant to deploy state of the art scheduling methods and most of them revert to simple heuristics such as EASY Backfilling, which is based in a naive First-Come-First-Served (FCFS) ordering. Newer methods are often complex and obscure, and the simplicity and transparency of EASY Backfilling are too important to sacrifice.At a first moment we explored Machine Learning (ML) techniques to learn on-line parallel job scheduling heuristics. Using simulations and a workload generation model, we could determine the characteristics of HPC applications (jobs) that lead to a reduction in the mean slowdown of jobs in an execution queue. Modeling these characteristics using a nonlinear function and applying this function to select the next job to execute in a queue improved the mean task slowdown in synthetic workloads. When applied to real workload traces from highly different machines, these functions still resulted in performance improvements, attesting the generalization capability of the obtained heuristics.At a second moment, using simulations and workload traces from several real HPC platforms, we performed a thorough analysis of the cumulative results of four simple scheduling heuristics (including EASY Backfilling). We also evaluated effects such as the relationship between job size and slowdown, the distribution of slowdown values, and the number of backfilled jobs, for each HPC platform and scheduling policy. We show experimental evidence that one can only gain by replacing EASY Backfilling with the Smallest estimated Area First (SAF) policy with backfilling, as it offers improvements in performance by up to 80% in the slowdown metric while maintaining the simplicity and the transparency of EASY. SAF reduces the number of jobs with large slowdowns and the inclusion of a simple thresholding mechanism guarantees that no starvation occurs.Overall we achieved the following remarks: (i) simple and efficient scheduling heuristics in the form of a nonlinear function of the jobs characteristics can be learned automatically, though whether the reasoning behind their scheduling decisions is clear or not can be up to argument. (ii) The area (processing time estimate multiplied by the number of processors) of the jobs seems to be a quite important property for good parallel job scheduling heuristics, since many of the heuristics (notably SAF) that achieved good performances have the job's area as input. (iii) The backfilling mechanism seems to always help in increasing performance, though it does not outperform a better sorting of the jobs waiting queue, such as the sorting performed by SAF.