Des Grands Modèles de Langage pour la détection et la correction des erreurs dans les applications HPC

Large Language Models for Detection and Correction of Errors in HPC Applications

• Auteur / Autrice : Asia Auville
• Direction : Emmanuelle Saillard, Mihail Popov
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : LaBRI - Laboratoire Bordelais de Recherche en Informatique
• Partenaire(s) de recherche : Equipe de recherche : Supports et Algorithmes pour les applications numériques hautes performances (SATANAS)

Mots clés

Mots clés libres

Grands langages de modèles

Vérification

Natural Language Processing

Calcul Haute Performance

Verification

Large Language Models

Natural Language Processing

Hpc

Résumé

Afin de résoudre les plus grands problèmes scientifiques en un temps raisonnable, les applications sont parallélisées et lancées sur des supercalculateurs. Cependant, ces supercalculateurs sont de plus en plus complexes et puissants, ce qui entraine une évolution des applications (ex., nouveaux algorithmes pour le passage à l'échelle, combinaison de modèles de programmation parallèle). Cette évolution lève de nombreux défis de programmation et un réel besoin d'outils et techniques pour aider les développeurs à utiliser au mieux les différentes machines et architectures à leur disposition. En effet, à grande échelle, les développeurs d'applications font face à de nouvelles erreurs, liées au parallélisme, souvent difficiles à analyser et corriger. Aujourd'hui, s'assurer que les applications parallèles s'exécutent correctement devient aussi important que d'obtenir de bonnes performances. Les grands modèles de langage (LLMs) sont un sujet de recherche en pleine évolution. En particulier, leurs récents succès pour générer du texte pertinent et répondre à des questions en font des candidats attrayants dans le domaine de la vérification. L'objectif de cette thèse est d'exploiter et d'adapter les Grands Modèles de Langage pour identifier et corriger les erreurs dans les programmes parallèles. Pour cela, nous proposons d'entraîner des modèles sur des ensembles de données soigneusement générés et étiquetés grâce à une combinaison de techniques d'apprentissage et de traitement du langage naturel.

The last decade of hardware trends led to more complex parallel applications with hardware heterogeneity, new scalable algorithms, and combinations of parallel programming models that pose many programmability challenges that have not been adequately solved to this day. Such complexity increases the number of errors and performance regressions, requiring scalable and reliable debugging techniques to assist developers. Large Language Models (LLMs) are a hot and rapidly evolving research topic. They generate relevant and contextual content, in particular code and text, thanks to their transfer learning capabilities that enable good performance on diverse tasks with minimal fine-tuning. In particular, their recent successes in summarization, question-answering, and code generation with AI pair programming make them attractive candidates in the field of debugging and optimization. We propose to harness LLMs capabilities with agent systems, retrieval augmented generation, and fine-tuning on carefully generated datasets through a novel clustering strategy based on Natural Language Processing (NLP) techniques and code embedding. The goal of this Ph.D is to assist developers in identifying and fixing errors by bridging the gap between LLMs and verification for parallel computing.