Algorithmes d'ordonnancement pour l'optimisation des modèles d'apprentissage automatique distribués sur des ressources hétérogènes

Scheduling algorithms for the optimization of distributed machine learning models on heterogeneous resources

• Auteur / Autrice : Alan Lira nunes
• Direction : Laércio Lima pilla, Lúcia Drummond
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 05/10/2023
• Etablissement(s) : Bordeaux en cotutelle avec Universidade Federal Fluminense
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : LaBRI - Laboratoire Bordelais de Recherche en Informatique
• Partenaire(s) de recherche : Equipe de recherche : Supports et Algorithmes pour les applications numériques hautes performances (SATANAS)

Mots clés

Mots clés libres

Calcul haute performance

Ordonnancement

Algorithmique

Apprentissage automatique

Optimisation

High performance computing

Scheduling

Algorithms

Machine learning

Optimization

Résumé

Contexte : Ces dernières années, un nouvel utilisateur principal des plates-formes de calcul et de communication parallèles et distribuées est apparu sous la forme d'applications d'apprentissage automatique. Nous nous intéressons plus particulièrement à l'apprentissage fédéré (“Federated Learning” ou FL), une technique d'apprentissage automatique distribuée utilisée pour entraîner un modèle partagé de manière collaborative tout en gardant les données locales privées [McM17]. En bref, l'apprentissage fédéré est basé sur un serveur central qui coordonne l'apprentissage avec les dispositifs participants. Chaque appareil entraîne le modèle en utilisant uniquement ses données locales, et le serveur central regroupe les modèles mis à jour par les différents participants pour améliorer de manière itérative la précision du modèle partagé. En raison de sa conception centrée sur la confidentialité des données, cette technique a été utilisée pour entraîner des modèles allant de la prédiction du mot suivant dans les smartphones (“cross-device training”) à des applications médicales telles que la segmentation des tumeurs cérébrales dans des environnements distincts de Cloud computing (“cross-silo training”) [Bru22], et de nouvelles applications sont constamment développées. L'une des raisons pour lesquelles les modèles d'apprentissage automatique ont connu une forte augmentation de leur utilisation ces dernières années est liée aux améliorations majeures de leur précision et de leurs capacités. Ces améliorations sont dues à la combinaison de deux facteurs : les progrès des algorithmes d'apprentissage automatique et les modèles de plus grande taille dont la demande de calcul croît de manière exponentielle. Si l'on ajoute à cela la croissance de leur utilisation, les coûts économiques et environnementaux de l'apprentissage automatique font l'objet d'une attention accrue. Dans le cas spécifique de l'apprentissage automatique, l'hétérogénéité des ressources informatiques peut entraîner des cycles d'apprentissage plus longs [Pil21], tandis que la distribution non uniforme des données peut conduire à une augmentation du nombre de cycles nécessaires pour converger vers une précision cible. Si l'on n'y prend garde, cela peut conduire à de longues sessions d'entraînement avec une mauvaise utilisation des ressources et une consommation d'énergie élevée. Par exemple, une étude initiale [Qiu21] indique que la consommation d'énergie de l'apprentissage fédéré peut être supérieure d'un ordre de grandeur à celle d'un modèle centralisé équivalent, tandis que son empreinte carbone peut même être supérieure de deux ordres de grandeur. Les problèmes de performance de FL mentionnés ci-dessus et son utilisation omniprésente en font une cible de choix pour l'étude et l'optimisation. L'une des façons d'optimiser l'apprentissage fédéré est d'améliorer ses décisions d'ordonnancement, c'est-à-dire de décider quels dispositifs doivent participer à l'entraînement à un moment donné, quelle quantité de travail chaque dispositif doit effectuer, comment les dispositifs doivent être configurés, etc. Bien que nous ayons vu quelques travaux récents sur le sujet, la plupart des solutions sont actuellement basées sur des heuristiques et des hypothèses simples. De plus, il reste encore beaucoup à étudier sur l'interaction entre performance, consommation d'énergie et précision, et notamment peu de travaux se sont intéressés à l'optimisation de la consommation d'énergie de l'apprentissage fédéré. Description du travail : L'objectif de cette thèse est d'améliorer les performances et la consommation d'énergie des modèles d'apprentissage fédérés grâce à des algorithmes d'ordonnancement mieux adaptés. En prenant comme référence des travaux antérieurs [Pil21,Pil22a,Pil22b], nous modéliserons le problème de l'optimisation concomitante des performances, de la consommation énergétique et d'autres objectifs. Nous proposerons ensuite de nouveaux algorithmes d'ordonnancement (ou adapterons des algorithmes existants) pour ce problème, et nous prouverons leurs propriétés, voire leur optimalité lorsque cela sera possible. Ces algorithmes seront implémentés pour être utilisés sur des plateformes simulées, émulées ou réelles afin de valider leur utilisation par une comparaison avec d'autres techniques. Nous utiliserons Flower [Beu22] comme cadre logiciel principal pour le développement. Un effort particulier sera fait pour s'assurer que le code, les ensembles de données et les résultats seront disponibles pour la communauté afin de s'assurer que notre recherche est reproductible.

Context: In recent years, a new main user of parallel and distributed computing and communication platforms has come in the form of machine learning applications. Of our specific interest is Federated Learning (FL), a distributed machine learning technique used for training a shared model collaboratively while keeping local data private [McM17]. In a nutshell, FL is based on a central server that coordinates training with participating devices. Each device trains the model using only its local data, and the central server aggregates the updated models from different devices to iteratively improve the shared model's accuracy. Due to its data privacy design, this technique has been used for training models from next-word prediction in smartphones (cross-device training) to medical applications such as brain tumor segmentation in separate Cloud computing environments (cross-silo training) [Bru22], and new applications are constantly being developed. One of the reasons why machine learning models have seen a surge in utilization in recent years is related to their major improvements in accuracy and capability. These improvements have been driven by a combination of two factors: advances in ML algorithms, and larger models with exponentially-growing computing demands. When combined with their growth in usage, this is leading to an increased attention to machine learning's economic and environmental costs. In the specific case of FL, the heterogeneity of the computing resources can lead to longer training rounds [Pil21], while the non-uniform distribution of data can lead to an increase in the number of rounds required to converge to a target accuracy. If left unchecked, this can lead to long training sessions with poor resource utilization and high energy consumption. For instance, an initial study [Qiu21] indicates that FL's energy consumption can be one order of magnitude greater than an equivalent centralized model, while its carbon footprint may be even two orders of magnitude larger. The aforementioned performance challenges of FL and its ubiquitous use make it a prime target for study and optimization. One way to optimize FL is based on improving its scheduling decisions, i.e., deciding which devices should participate in training at a given moment, how much work each device should do, how the devices should be configured, etc. Although we have seen some recent works on the subject, most of the solutions are currently based on heuristics and simple assumptions. On top of that, there is still much left to be studied on the interplay between performance, energy consumption, and accuracy, and notably few works have been interested in optimizing the energy consumption of FL. Work description: The objective of this PhD thesis is to improve the performance and energy consumption of Federated Learning models through better-adapted scheduling algorithms. Taking previous works as baseline [Pil21,Pil22a,Pil22b], we will model the problem of optimizing performance, energy consumption, and other objectives concomitantly. We will then propose new scheduling algorithms (or adapt existing ones) for the problem, and we will prove their properties or even optimality whenever possible. These algorithms will be implemented for use on simulated, emulated, or real platforms to validade their utilization through a comparison with other techniques. We will employ Flower [Beu22] as our main software framework for development. A special effort will be put into making sure the code, datasets, and results are available to the community to make sure our research is reproducible.