Méthodologies et outils pour le calcul économe en énergie en vue d'optimisation des réseaux de neurones

Methodology and tooling for energy-efficient neural networks computation and optimization

• Auteur / Autrice : Hugo Waltsburger
• Direction : Régis Guinvarc'h, Anthony Kolar, Erwan Libessart, Chengfang Ren
• Type : Thèse de doctorat
• Discipline(s) : Electronique, Photonique et Micro-Nanotechnologies
• Date : Soutenance le 17/12/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Electrical, optical, bio : physics and engineering (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : SONDRA (Gif-sur-Yvette, Essonne ; 2004-....) - Laboratoire Génie électrique et électronique de Paris (Gif-sur-Yvette, Essonne ; 1998-....)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l’ingénierie et des systèmes (2020-….)
• Jury : Président / Présidente : Alexandre Benoît
• Jury : Examinateurs / Examinatrices : Virginie Fresse, Julien Le Kernec, Matthieu Arzel
• Jury : Rapporteurs / Rapporteuses : Virginie Fresse, Julien Le Kernec
• DOI : 10.70675/6aadb508z47bfz4dc6z95b6zbd5a77514a0a

Mots clés

Mots clés contrôlés

Processeurs graphiques

Apprentissage profond

Algorithmes optimaux

Algorithmes parallèles

Économies d'énergie

Réseaux neuronaux (informatique)

Apprentissage automatique

Intelligence artificielle

Mots clés libres

Réseaux de neurones profonds

Efficience énergétique

Adéquation algorithme-architecture

Deep neural networks

Energy efficiency

Architecture-algorithm adequation

Résumé

Les réseaux de neurones ont connu d'impressionnants développements depuis l'émergence de l'apprentissage profond, vers 2012, et sont désormais l'état de l'art de toute une gamme de tâches automatisées, telles que le traitement automatique du langage naturel, la classification, la prédiction, etc. Néanmoins, dans un contexte où la recherche se focalise sur l'optimisation d'un unique indicateur de performance -- typiquement, le taux d'exactitude --, il apparaît que les performances tendent à croître de façon fiable, voire prévisible, en fonction de la taille du jeu de données d'entraînement, du nombre de paramètres, et de la quantité de calculs réalisés pendant l'entraînement. Les progrès réalisés sont-ils alors plus le fait des recherches menées dans le domaine des réseaux de neurones, ou celui de l'écosystème logiciel et matériel sur lequel il s'appuie ? Afin de répondre à cette question, nous avons créé une nouvelle figure de mérite illustrant les choix architecturaux faits entre capacités et complexité. Nous avons choisi pour estimer la complexité d'utiliser la consommation énergétique lors de l'inférience, de sorte à représenter l'adéquation entre l'algorithme et l'architecture. Nous avons établi une façon de mesurer cette consommation énergétique, confirmé sa pertinence, et établi un classement de réseaux de neurones de l'état de l'art selon cette méthodologie. Nous avons ensuite exploré comment différents paramètres d'exécution influencent notre score, et comment le rafiner en allant de l'avant, en insistant sur le besoin de ''fonction objectif'' adaptées au cas d'usage. Nous finissons en établissant diverses façons de poursuivre le travail entamé durant cette thèse.

Neural networks have seen impressive developments since the emergence of deep learning, around 2012, and are now the state of the art for diverse tasks, such as natural language processing, classification, prediction, autonomous systems etc. However, as the research tends to focus around the optimization of a single performance metric -- typically accuracy --, it appears that performances tend to scale reliably and even predictably with the size of the training dataset, the neural network's complexity and the total amount of training compute. In this context, we ask how much of the recent progress in the field of neural networks can be attributed to progress made in compute, software support, and hardware optimization. To answer this question, we created a new figure of merit illustrating tradeoffs between the complexity and capability of a network. We used the measured energy consumption per inference as an estimator of complexity and a way of representing the adequation between the algorithm and the architecture. We established a way of measuring this energy consumption, verified its relevance, and benchmarked networks from the state of the art according to this methodology. We then explored how different execution parameters influence our score, and how to further refine it, insisting on the need for diverse objective functions reflecting different usecases in the field of neural networks. We end by acknowledging the social and environmental responsibility of the neural network field, and lay out the envisioned continuation of our work.