La gestion de plusieurs soumissions dans les systèmes parallèles : l'approche d'ordonnancement équitable

The management of multiple submissions in parallel systems : the fair scheduling approach

• Auteur / Autrice : Vinicius Gama Pinheiro
• Direction : Denis Trystram
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques-Informatique
• Date : Soutenance le 14/02/2014
• Etablissement(s) : Grenoble en cotutelle avec Universidade de São Paulo (Brésil)
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble
• Jury : Président / Présidente : Alfredo Goldman
• Jury : Examinateurs / Examinatrices : Luiz Bittencourt, Frédéric Suter
• Jury : Rapporteurs / Rapporteuses : Evripidis Bampis, Edmundo R.M. Madeira

Mots clés

Mots clés contrôlés

Ordonnancement (informatique)

Calcul intensif (informatique)

Complexité de calcul (informatique)

Mots clés libres

Ordonnancement de tâches

Multi objectifs

Calcul haute performance

Équité

Campagne

Job scheduling

Multi-objectives

High performance computing

Fairness

Campaign

Résumé

Le problème étudié est celui de l'ordonnancement d'applications dans les systèmes parallèles et distribués avec plusieurs utilisateurs. Les nouvelles plates-formes de calcul parallèle et distribué offrent des puissances très grandes qui permettent d'envisager la résolution d'applications complexes interactives. Aujourd'hui, il reste encore difficile d'utiliser efficacement cette puissance par manque d'outils de gestion de ressources. Le travail effectué dans cette thèse se place dans cette perspective d'analyser et développer des algorithmes efficaces pour gérer efficacement des ressources de calcul partagées entre plusieurs utilisateurs. On analyse les scénarios avec plusieurs soumissions lancées par multiples utilisateurs au cours du temps. Ces soumissions ont un ou plus de processus et l'ensemble de soumissions est organisé en successifs campagnes. Les processus d'une seule campagnes ont séquentiels et indépendants, mais les processus d'une campagne ne peuvent pas commencer leur exécution avant que tous les processus provenant de la dernière campagne sont completés. Chaque utilisateur est intéressé à minimiser la somme des temps de réponses des campagnes. On définit un modèle théorique pour l'ordonnancement des campagnes et on montre que, dans le cas général, c'est NP-difficile. Pour le cas avec un utilisateur, on démontre qu'un algorithme d'ordonnancement ρ-approximation pour le(classique) problème d'ordonnancement de tâches parallèles est aussi un ρ-approximation pour le problème d'ordonnancement de campagnes. Pour le cas général avec k utilisateurs, on établis un critère de "fairness" inspiré par partage de temps. On propose FairCamp, un algorithme d'ordonnancement qu'utilise dates limite pour réaliser "fairness" parmi les utilisateurs entre consécutifes campagnes. On prouve que FairCamp augmente le temps de réponse de chaque utilisateur par a facteur maximum de ρ par rapport un processeur dédiée à l'utilisateur. On prouve aussi que FairCamp est un algorithme ρ-approximation pour le maximum stretch. On compare FairCamp contre "First-Come-First-Served" (FCFS) par simulation. On démontre que, comparativement à FCFS, FairCamp réduit le maximal stretch a la limite de 3.4 fois. La différence est significative dans les systèmes utilisé pour plusieurs (k≻5) utilisateurs. Les résultats montrent que, plutôt que juste des tâches individuelle et indépendants, campagnes de tâches peuvent être manipulées d'une manière efficace et équitable.

We study the problem of scheduling in parallel and distributed systems with multiple users. New platforms for parallel and distributed computing offers very large power which allows to contemplate the resolution of complex interactive applications. Nowadays, it is still difficult to use this power efficiently due to lack of resource management tools. The work done in this thesis lies in this context: to analyse and develop efficient algorithms for manage computing resources shared among multiple users. We analyze scenarios with many submissions issued from multiple users over time. These submissions contain one or more jobs and the set of submissions are organized in successive campaigns. Any job from a campaign can not start until all the jobs from the previous campaign are completed. Each user is interested inminimizing the sum of flow times of the campaigns. In the first part of this work, we define a theoretical model for Campaign Scheduling under restrictive assumptions and we show that, in the general case, it is NP-hard. For the single-user case, we show that an ρ-approximation scheduling algorithm for the (classic) parallel job scheduling problem is also an ρ-approximation for the Campaign Scheduling problem. For the general case with k users, we establish a fairness criteria inspired by time sharing. Then, we propose FairCamp, a scheduling algorithm which uses campaign deadlines to achieve fairness among users between consecutive campaigns. We prove that FairCamp increases the flow time of each user by a factor of at most ρ compared with a machine dedicated to the user. We also prove that FairCamp is an ρ-approximation algorithm for the maximum stretch. We compare FairCamp to "First-Come-First-Served" (FCFS) by simulation. We showthat, compared with FCFS, FairCamp reduces the maximum stretch by up to 3.4 times. The difference is significant in systems used by many (k≻5) users. Our results show that, rather than just individual, independent jobs, campaignsof jobs can be handled by the scheduler efficiently and fairly.