Réplication de données pour la tolérance aux pannes dans un support d'exécution distribué à base de tâches

Data replication for failure-tolerance in a distributed task-based runtime system

• Auteur / Autrice : Romain Lion
• Direction : Samuel Thibault
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Luc Giraud
• Jury : Examinateurs / Examinatrices : Camille Coti, Amina Guermouche, Leonardo BAUTISTA GOMEZ, Pierre Lemarinier
• Jury : Rapporteurs / Rapporteuses : Franck Capello, Cédric Bastoule

Mots clés

Mots clés contrôlés

Informatique -- Procédures de secours

Centres de traitement informatique

Tolérance aux fautes (informatique)

Mots clés libres

Tolérance aux pannes

Checkpoint

Support d’exécution à base de tâches

Failure Tolerance

Checkpoints

Task-based runtime system

Résumé

À mesure que la puissance de calcul des nouveaux supercalculateurs augmente, leur fiabilitédécroît inexorablement. En effet les limites sont repoussées en augmentant le nombre de composantsainsi que leur complexité, et les systèmes de calcul expérimentent des défaillances au quotidien. Laproblématique est donc de pouvoir se prémunir des pannes, tout en limitant l’impact sur les performancesqu’impose un mécanisme de tolérance aux pannes. Par ailleurs, la complexité de l’architecture dessupercalculateurs rend plus difficile leur programmation, ce à quoi tentent de répondre les supportsd’exécution à base de tâches comme StarPU. Les travaux présentés ici proposent une solution detolérance aux pannes adaptée à StarPU. Le modèle de programmation STF utilisé dans StarPU nouspermet de créer des sauvegardes asynchrones qui n’interrompent pas le calcul, et qui ne nécessitentaucune synchronisation entre les noeuds de calcul ; ce comportement est atteint en insérant statiquementdes requêtes de sauvegarde dans le code d’application, correspondant à une solution de checkpoint deniveau application. Également, gérer des sauvegardes à travers StarPU permet de mettre en communles données de calcul et les données de sauvegarde, ce qui nous permet de réduire considérablement laquantité de données qui doivent effectivement être sauvegardées. Nous avons exploité cet effet en utilisantles autres noeuds de calcul comme support de sauvegarde, ainsi qu’un mécanisme de message loggingafin de redémarrer uniquement le noeud en panne. L’efficacité de cette solution a été évaluée avec uneapplication de décomposition de Cholesky, et nous avons pu voir dans un cas idéal que notre approchepermet de tolérer les pannes considérées sans qu’aucune sauvegarde ne soit effectuée en pratique.

While computing power of systems grows, their reliabity decreases inevitably. Indeed, performance is achieved by leveraging components quantity and complexity, therefore computing systems are subject to failures on a daily basis. The problem is to use a mechanism to tolerate failures while having the least impact on performance. Moreover, supercomputers archichecture become more and more complex, and so becomes their coding. Data-based runtime systems such as StarPU are responding to this problematic. This thesis proposes a dedicated failure tolerance protocol to StarPU. The STF programming model used in StarPU allows to create consistent coordinated non-blocking asynchronous checkpoints very simply, by inserting checkpoint requests statically in the source code, like an application-based checkpoint solution. Furthermore, managing the checkpoints inside StarPU allows to use the synergy between computing data and checkpoint data, allowing to significantly reduce the amount of data that needs to be saved. We exploit this effect by choosing to save checkpoints on the other computing nodes, and by performing local rollback using message logging. The efficiency of our proposal is evaluated with a Cholesky decomposition application. We also show that with a particular setting for this application, our approach allows to tolerate the failure corresponding to our hypothesis without having any data actually replicated on other nodes. This is done by using the fact that the application already replicates enough data due to the computation needs, while with our approach we are able to exploit these data as checkpoint data.