Adaptative and Frugal Deep Learning Architectures

Architectures de Deep Learning Adaptatives et Frugales

• Auteur / Autrice : Erwan Fagnou
• Direction : Alexandre Allauzen
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/11/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale SDOSE (Paris)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (Paris)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris Dauphine-PSL (1968-....)

Mots clés

Mots clés libres

Frugalité et efficacité en machine learning

Apprentissage profond

Grands Modèles de Language (LLM)

Traitement du langage naturel (NLP)

Réseaux de neurones profonds

Frugalilty and efficiency in machine learning

Deep learning

Large Language Models

Nlp

Deep neural networks

Résumé

Les Large Language Models (LLM) sont aujourd'hui omniprésents dans le traitement du langage naturel (NLP) et plus encore. L'une de leurs forces est leur capacité à englober la diversité et la variabilité d'une énorme quantité de données avec un nombre encore plus grand de paramètres. En termes de ressources et d'impact sur le climat, seule leur large réutilisation peut justifier le coût de leur entraînement. Le terme "coût d'entraînement" couvre plusieurs aspects : au-delà du coût économique (qui se chiffre généralement en millions de dollars), il convient de tenir compte de l'empreinte carbone et de l'exigence en matière de données. Il s'agit là d'une lacune importante, car il n'existe aujourd'hui que des méthodes simples de fine-tuning qui permettent à ces modèles de faire face à des data-drifts, à de nouveaux thèmes et genres de textes, ou au large spectre de variabilité de la parole (accent, âge...). La durée de vie des LLMs peut être limitée dans la pratique. Alors que des approches existantes ont été proposées dans le passé, les défis climatiques demandent des solutions plus avancées tout en préservant la performance et les résultats impressionnants obtenus avec les LLMs. Dans cette thèse, nous envisagerons deux pistes de recherche possibles. La première concerne le développement d'architectures dynamiques (croissance et/ou élagage). La seconde consiste à explorer de nouvelles techniques d'apprentissage par transfert, au-delà du fine-tuning, avec différents objectifs : partager et étendre la connaissance des différents LLM existants au cours de leur vie ; élargir l'apprentissage auto-supervisé pour les données textuelles et multimodales (en mélangeant texte et parole par exemple pour traiter la diversité des sources). Le sujet de la thèse est en ligne avec les priorités de l'équipe MILES concernant "Trustworthy Machine Learning". En outre, il s'agit également d'un objectif important pour la communauté de l'IA, avec des résultats importants et positifs pour la société.

Large Language Models (LLMs for short) are nowadays ubiquitous in Natural Language Processing (NLP) and beyond. One of their strengths is their ability to encompass the diversity and variability of a huge amount of data with an even larger number of parameters. In terms of resources and climate impact, only their wide reuse can justify the training cost. The term training cost covers several aspects: beyond the economical cost (typically in millions of dollars), we should consider the carbon footprint and the data requirement. This is a serious flaw since nowadays only simple fine-tuning methods exist that enable these models to really face data-drifts, new topics and genres in text, or the broad spectrum of variability in speech (accent, age...). The lifetime of LLMs can be limited in practice. While existing approaches were proposed in the past, the climate challenges call for more advanced solutions while preserving the performance and the impressive results obtained with LLMs. In this PhD, we will consider two possible research tracks. The first one is about the development of dynamic architectures (growing and/or pruning). The second one is to explore new transfer learning techniques, beyond fine tuning, with different goals: sharing and extending the knowledge of different existing LLMs in a lifelong scenario; broadening self-supervised learning for textual and multimodal data (mixing text and speech for instance to deal with the diversity of sources). The PhD topic is in line with the priorities of the MILES Team about “Trustworthy Machine Learning”. Moreover, it is also an important goal for the AI community with important and positive outcomes for society.