intelligence artificielle haute-performance efficace en énergie : de la mesure et la modélisation à l'ordonnancement multi-objectifs

Energy-aware high-performance artificial intelligence: from measurement and modeling to multi-objective scheduling

• Auteur / Autrice : Roblex Nana tchakoute
• Direction : Claude Tadonki, Petr Dokladal
• Type : Projet de thèse
• Discipline(s) : Informatique temps réel, robotique et automatique - Fontainebleau
• Date : Inscription en doctorat le 09/12/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique
• Partenaire(s) de recherche : Laboratoire : Mathématiques et Systèmes
• Partenaire(s) de recherche : Equipe de recherche : CRI - Centre de Recherche en Informatique
• Partenaire(s) de recherche : établissement opérateur d'inscription : Mines Paris-PSL

Mots clés

Mots clés libres

Efficacité énergétique

Consommation électrique

Planification des tâches

Modélisation

Apprentissage profond

Hpc-ia

Energy efficiency

Power consumption

Job scheduling

Modeling

Deep learning

Hpc-ia

Résumé

La convergence du calcul haute performance (HPC) et de l'intelligence artificielle (IA) est marquée par une demande en puissance de calcul sans précédent, portée par la croissance fulgurante des modèles d'apprentissage profond (Deep Learning, DL). Toutefois, le déclin des paradigmes classiques de passage à l'échelle, tels que la loi de Moore ou ou celle de Dennard, a déplacé le défi de la conception des systèmes de nouvelle génération : il ne s'agit plus seulement d'atteindre des performances maximales, mais également de garantir une efficacité énergétique accrue. En effet, la consommation électrique massive des infrastructures hétérogènes modernes constitue désormais une contrainte majeure, imposant une transition vers des approches de calcul plus durables. Les approches actuelles présentent encore des limites, notamment le manque d'outils permettant une mesure fine et détaillée de l'énergie des systèmes. Pour faire face à celà, cette thèse propose un cadre méthodologique intégré, couvrant l'ensemble de la chaîne — analyse, modélisation et optimisation — afin d'améliorer l'efficacité énergétique des applications en IA. Notre démarche repose sur un cycle vertueux articulé autour de quatre étapes : « Mesurer, Comprendre, Modéliser et Optimiser », pour lesquelles nous avons conçu un ensemble cohérent d'outils et de stratégies innovantes. Afin de permettre une analyse empirique robuste, nous introduisons d'abord un outil flexible et multiplateforme permettant un profilage énergétique fin. Ensuite, pour passer de la simple observation à la prédiction, nous développons un cadre analytique complet pour modéliser la performance et la consommation énergétique de l'entraînement de modèles de DL. Enfin, afin de transformer les prédictions en leviers concrets d'optimisation, nous proposons une méthodologie systématique de co-conception de planificateurs de tâches conscients des contraintes énergétiques. En somme, cette thèse met à disposition un ensemble d'outils ainsi qu'une méthodologie structurée qui permettent de faire passer l'optimisation énergétique, d'une démarche ponctuelle et empirique à un processus systématique. Nous espérons ainsi contribuer à franchir une étape significative vers la conception et l'exploitation d'infrastructures d'IA plus intelligentes, plus efficaces et plus durables.

The convergence of High-Performance Computing (HPC) and Artificial Intelligence (AI) has led to an era of unprecedented computational demand, driven by the explosive growth of Deep Learning (DL) models. However, the demise of traditional scaling paradigms like Moore's Law and Dennard scaling has extended the challenge in designing next-generation systems from raw performance to energy efficiency. The massive power consumption of modern heterogeneous infrastructures now represents a first-order constraint, thus necessitating a fundamental shift towards sustainable computing. State-of-the-art approaches often lack the necessary tools for fine-grained energy measurement across heterogeneous components. To tackle this issue, this dissertation presents an integrated end-to-end methodological framework for the analysis, modeling, and optimization of energy efficiency of AI workloads. Our approach follows a virtuous cycle of ''Measure, Understand, Model, and Optimize'', for which we have developed an operational suite of novel tools and strategies. Firstly, to enable robust empirical analysis, we introduce a flexible and multi-platform tool for fine-grained energy profiling. Secondly, to move from observation to prediction, we developed a comprehensive analytical framework to model the performance and energy of DL training on GPUs. Finally, to translate energy prediction into active optimization, we present a systematic methodology for the co-design of energy-aware job schedulers. In summary, this thesis provides a set of tools and a structured engineering methodology that transform energy optimization from an ad-hoc practice into a systematic process. We hope that through our contributions, we have made a significant step towards the design and operation of more intelligent, efficient, and sustainable infrastructures for the future of AI.