Algorithmes orientés mémoire et techniques d'ordonnancement pour le calcul matriciel

Memory-aware Algorithms and Scheduling Techniques for Matrix Computattions

• Auteur / Autrice : Julien Herrmann
• Direction : Yves Robert
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 25/11/2015
• Etablissement(s) : Lyon, École normale supérieure
• Ecole(s) doctorale(s) : École doctorale InfoMaths (Lyon ; 2009-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'informatique du parallélisme (Lyon ; 1988-....) - ROMA / ENS Lyon / CNRS / Inria Grenoble Rhône-Alpes
• Jury : Président / Présidente : Pierre Manneback
• Jury : Examinateurs / Examinatrices : Yves Robert, Pierre Manneback, Oliver Sinnen, Denis Trystram, Loris Marchal, Luc Giraud
• Jury : Rapporteur / Rapporteuse : Oliver Sinnen, Denis Trystram

Mots clés

Mots clés contrôlés

Systèmes linéaires

Équations différentielles adjointes

Calcul intensif (informatique)

Factorisation

Ordonnancement (informatique)

Mots clés libres

Ordonnancement multi-critère

Algorithmes numériques

Factorisation LU

Factorisation QR

Factorisation Cholesky

Calcul haute performance

Systèmes linéaires

Différentiation automatique

Scheduling

Numerical algorithms

LU factorization

QR factorization

Cholesky factorization

High performance computing

Linear systems

Automatic differentiation

Résumé

Dans cette thèse, nous nous sommes penchés d’un point de vue à la foisthéorique et pratique sur la conception d’algorithmes et detechniques d’ordonnancement adaptées aux architectures complexes dessuperordinateurs modernes. Nous nous sommes en particulier intéressésà l’utilisation mémoire et la gestion des communications desalgorithmes pour le calcul haute performance (HPC). Nous avonsexploité l’hétérogénéité des superordinateurs modernes pour améliorerles performances du calcul matriciel. Nous avons étudié lapossibilité d’alterner intelligemment des étapes de factorisation LU(plus rapide) et des étapes de factorisation QR (plus stablenumériquement mais plus deux fois plus coûteuses) pour résoudre unsystème linéaire dense. Nous avons amélioré les performances desystèmes d’exécution dynamique à l’aide de pré-calculs statiquesprenants en compte l’ensemble du graphe de tâches de la factorisationCholesky ainsi que l’hétérogénéité de l’architecture. Nous noussommes intéressés à la complexité du problème d’ordonnancement degraphes de tâches utilisant de gros fichiers d’entrée et de sortiesur une architecture hétérogène avec deux types de ressources,utilisant chacune une mémoire spécifique. Nous avons conçu denombreuses heuristiques en temps polynomial pour la résolution deproblèmes généraux que l’on avait prouvés NP-complet aupréalable. Enfin, nous avons conçu des algorithmes optimaux pourordonnancer un graphe de différentiation automatique sur uneplateforme avec deux types de mémoire : une mémoire gratuite maislimitée et une mémoire coûteuse mais illimitée.

Throughout this thesis, we have designed memory-aware algorithms and scheduling techniques suitedfor modern memory architectures. We have shown special interest in improving the performance ofmatrix computations on multiple levels. At a high level, we have introduced new numerical algorithmsfor solving linear systems on large distributed platforms. Most of the time, these linear solvers rely onruntime systems to handle resources allocation and data management. We also focused on improving thedynamic schedulers embedded in these runtime systems by adding static information to their decisionprocess. We proposed new memory-aware dynamic heuristics to schedule workflows, that could beimplemented in such runtime systems.Altogether, we have dealt with multiple state-of-the-art factorization algorithms used to solve linearsystems, like the LU, QR and Cholesky factorizations. We targeted different platforms ranging frommulticore processors to distributed memory clusters, and worked with several reference runtime systemstailored for these architectures, such as P A RSEC and StarPU. On a theoretical side, we took specialcare of modelling convoluted hierarchical memory architectures. We have classified the problems thatare arising when dealing with these storage platforms. We have designed many efficient polynomial-timeheuristics on general problems that had been shown NP-complete beforehand.