Optimisation de Processus d'Apprentissage à Grande Échelle sur des Systèmes de Calcul Haute-Performance

Optimization of Learning Workflows at Large Scale on High-Performance Computing Systems

• Auteur / Autrice : Romain Egele
• Direction : Isabelle Guyon, Prasanna Balaprakash
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/06/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire Interdisciplinaire des Sciences du Numérique - Argonne national laboratory (Etats-Unis)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Président / Présidente : Sarah Cohen-Boulakia
• Jury : Examinateurs / Examinatrices : Massih-Reza Amini, Gavin Cawley, Gideon Dror, Claire Monteleoni
• Jury : Rapporteurs / Rapporteuses : Massih-Reza Amini, Gavin Cawley

Mots clés

Mots clés contrôlés

Apprentissage profond

Optimisation globale

Optimisation non différentiable

Réseaux neuronaux (physiologie)

Calcul intensif (informatique)

Apprentissage automatique

Mots clés libres

Apprentissage Machine

Calcul Haute Performance

Optimization des Hyperparamètres

Recherche d'Architectures de Réseaux de Neurones Artificiels

Optimisation Bayésienne

Machine Learning

High-Performance Computing

Hyperparameter Optimization

Neural Architecture Search

Bayesian Optimization

Résumé

Au cours de la dernière décennie, l'apprentissage automatique a connu une croissance exponentielle, portée par l'abondance de jeux de données, les avancées algorithmiques et l'augmentation de la puissance de calcul.Simultanément, le calcul haute performance (HPC) a évolué pour répondre à la demande croissante en calculs, offrant des ressources pour relever des défis scientifiques complexes. Cependant, les processus d'apprentissage machines sont souvent séquentiels, ce qui rend difficile leur mise à l'échelle sur les systèmes HPC qui sont eux parallèles par nature. Les processus d'apprentissage machines sont construits à partir de modules qui offrent de nombreux paramètres configurables, des politiques d'augmentation des données, aux procédures d'entraînement et aux architectures de modèles. Cette thèse se concentre sur l'optimisation des hyperparamètres des processus d'apprentissage sur des systèmes HPC, tels que Polaris à Argonne National Laboratory. Les principales contributions comprennent (1) l'optimisation Bayésienne parallèle décentralisée et asynchrone, (2) son extension à plusieurs objectifs, (3) l'intégration de méthodes de rejet précoce et (4) la quantification de l'incertitude des réseaux de neurones profonds. De plus, un logiciel en libre accès, DeepHyper, est fourni, encapsulant les algorithmes proposés pour faciliter la recherche et l'application. La thèse met en évidence l'importance des méthodes d'optimisation Bayésienne des hyperparamètres pour les processus d'apprentissage, cruciales pour exploiter efficacement les vastes ressources de calcul des systèmes HPC modernes.

In the past decade, machine learning has experienced exponential growth, propelled by abundant datasets, algorithmic advancements, and increased computational power. Simultaneously, high-performance computing (HPC) has evolved to meet rising computational demands, offering resources to tackle complex scientific challenges.However, machine learning is often a sequential process, making it difficult to scale on HPC systems. Machine learning workflows are built from modules offering numerous configurable parameters, from data augmentation policies to training procedures and model architectures. This thesis focuses on the hyperparameter optimization of learning workflows on large-scale HPC systems, such as the Polaris at the Argonne Leadership Computing Facility.Key contributions include (1) asynchronous decentralized parallel Bayesian optimization, (2) extension to multi-objective, (3) integration of early discarding, and (4) uncertainty quantification of deep neural networks. Furthermore, an open-source software, DeepHyper, is provided, encapsulating the proposed algorithms to facilitate research and application. The thesis highlights the importance of scalable Bayesian optimization methods for the hyperparameter optimization of learning workflows, which is crucial for effectively harnessing the vast computational resources of modern HPC systems.