Affinage des Grands Modèles de Langage pour la planification et l'action via des APIs.

Finetuning LLMs for planning and acting with APIs.

• Auteur / Autrice : Estelle Zheng
• Direction : Christophe Cerisara
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/05/2024
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES
• Partenaire(s) de recherche : Laboratoire : LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
• Partenaire(s) de recherche : Equipe de recherche : SYNALP

Mots clés

Mots clés libres

Llm

Finetuning

Api

Nlp

Grands modèles de langage

Tal

Résumé

Les grands modèles de langage (LLM) ont montré des capacités exceptionnelles dans une large gamme de tâches de Traitement Automatique de la Langue (TAL), améliorant les performances des systèmes automatiques parfois jusqu'au niveau humain ou même au-delà sur des benchmarks TAL standard. Cependant, appliquer les capacités de ces modèles dans des cas d'utilisation concrets dépassant le cadre bien défini des tâches TAL implique de résoudre plusieurs questions de recherche supplémentaires. Par exemple, un seul LLM ne peut pas résoudre une tâche réelle aussi complexe que celles que l'on peut trouver dans les processus d'entreprise. Plusieurs LLM doivent être combinés et intégrés dans des architectures globales, qui peuvent par exemple être logiques (LangChain-AI, 2023) ou cognitives (Sumers et al., 2023). De plus, ces LLM doivent interagir avec des outils externes, généralement par le biais d'API ou d'autres types de canaux de communication, ce qui implique que le LLM doit apprendre la syntaxe et la sémantique des API ou du document qu'il génère (Wang et al., 2023). Il est également important que le LLM respecte pleinement les contraintes imposées par ces outils, ce qui n'est pas garanti dans les versions actuelles des LLM qui peuvent halluciner des commandes qui ne peuvent pas être interprétées par les outils externes. Parmi les autres défis qui impactent le déploiement des LLM dans de tels contextes industriels réels, un autre fait important concerne le fait que la documentation est rarement statique et évolue rapidement, avec l'apparition de nouveaux outils, de nouveaux cas d'utilisation, etc. Mettre à jour les LLM avec de telles nouvelles informations est souvent envisagé de plusieurs manières : • Le In-Context-Learning (ICL), qui place dans la fenêtre contextuelle du LLM les nouvelles informations. Toutefois, cette fenêtre contextuelle étant le plus souvent limitée en taille (typiquement quelques dizaines de milliers de mots), cette approche n'est le plus souvent pas applicable. • Ré-entraîner le LLM à la fois sur les anciennes (pretrained) données et les nouvelles in- formations est en théorie la meilleure solution pour mettre à jour le LLM, mais cela est très difficile et coûteux à mener à bien, notamment à cause des problèmes liés au surap- prentissage ainsi qu'à l'oubli catastrophique. Le coût très important de cette approche est également un frein majeur, et cette option n'est quasiment jamais utilisée en pratique. • L'adaptation ou affinage (finetuning) est une approche bien plus abordable en pratique, surtout en considérant les approches efficaces en paramètres (PEFT) telles que LoRA (Hu et al., 2022), les adapteurs, le P-tuning (Li and Liang, 2021), etc., qui permettent de n'apprendre que relativement peu de paramètres relativement rapidement sur les nouvelles données. Toutefois, les capacités de ces approches à injecter de nouvelles connaissances dans un LLM font débat, notamment car le LLM pourrait au contraire apprendre à halluciner des faits qui ne font pas partie de sa base d'apprentissage. De plus, l'affinage pose un certain nombre de problèmes supplémentaires, tels que la réinitialisation (ou non) du planificateur d'entraînement, et la prévention de l'oubli catastrophique. • L'utilisation d'une mémoire externe au LLM, où l'information est stockée dans des bases de données typiquement indexées par un autre LLM, et où les contextes les plus pertinents sont d'abord récupérés via un algorithme de neural search avant d'être injectées dans la fenêtre contextuelle d'un LLM génératif (Jiang et al., 2023). Cette approche est assez courante mais est également plus limitée qu'un ré-apprentissage ou un affinage, car les nouvelles informations ne sont ni comprimées ni intégrées au réseau neuronal, et les capacités de généralisation du LLM ne contribuent pas à faire émerger des capacités de raisonnement adapté dans le LLM.

Large Language Models (LLM) have exhibited exceptional abilities in a wide range of Natural Language Processing (NLP) tasks, boosting the performances of automatic systems sometimes up or beyond the human level on standard NLP benchmarks. However, applying the exceptional capabilities of these models in concrete use cases that go beyond the well-defined context of NLP tasks involve solving a number of additional challenging research questions. For instance, a single LLM cannot solve in isolation such a complex real-world task as the ones that can be found in enterprise processes. Mulitple LLMs have to be combined and composed within more global architectures, which can for instance either be logical (LangChain-AI, 2023) or cognitive (Sumers et al., 2023). Also, these LLMs have to interact with external tools, typically through APIs or other types of communication channels, which implies that the LLM has to learn the syntax and semantic of the APIs or of the document that it generates (Wang et al., 2023). It is also important that the LLM fully respects the constraints imposed by these tools, which is not granted in the current versions of LLMs that may hallucinate commands that cannot be interpreted by the external tools. This problem tends to be less and less of an issue, as several new approaches are proposed to, e.g., control the generated sentences; furthermore, filtering and corrective modules may be added at the output of the LLM; but obtaining the best quality and conformity of generated commands is still an open domain of research. Among the other challenges that impact the deployment of LLM in such real industrial contexts, another important one concerns the fact that documentation is rarely static and usually evolves quickly, as new tools appear, new use cases are designed and tested, etc. Updating the LLMs with such new information is often envisioned with one of the following ways: • In-Context-Learning (ICL), by feeding into the input context window of the LLM the new information that it shall acquire. However, the context is limited, and so is the quantity of new information that can be considered this way. • Retraining on both the old (pretrained) data augmented with the new information, but given the cost of such a retraining, this option is rarely used in practice. • Finetuning, either with full or parameter-efficient (PEFT) (e.g., LoRA (Hu et al., 2022), adapters, P-tuning (Li and Liang, 2021)...), where the LLM is further trained for a few epochs on the new data. However, whether finetuning may really inject new knowledge into the model or conversely makes it learn to hallucinate is still debated (Colossal-AI, 2023). Furthermore, finetuning comes with a number of additional issues, such as how to reinitialize (or not) the training scheduler, and prevent catastrophic forgetting. • External memory-augmented LLM, where the new information is stored in external databases typically indexed by another LLM, and the most relevant context is first retrieved through neural search before being added into the main LLM context (Jiang et al., 2023). This approach is quite common but is also more limited than a complete retraining, as the new information is not compressed and generalized inside the LLM parameters, and so it does not contribute to making adapted reasoning capabilities emerge in the LLM.