Deep Learning en Ligne pour la Simulation Numérique à Grande Échelle

Online Deep Learning for Numerical Simulations at Scale

• Auteur / Autrice : Lucas Meyer
• Direction : Bruno Raffin, Alejandro Ribés Cortés
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 11/03/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (Isère, France ; 2007-....)
• Partenaire(s) de recherche : CIFRE : EDF Lab Paris-Saclay
• Jury : Président / Présidente : Martin Schreiber
• Jury : Examinateurs / Examinatrices : Guillaume Charpiat
• Jury : Rapporteurs / Rapporteuses : Patrick Gallinari, Thomas Peterka

Mots clés

Mots clés contrôlés

Calcul intensif (informatique)

Réseaux neuronaux graphiques

Mots clés libres

Calcul haute performance

Simulation numérique

Apprentissage profond

Calcul in situ

Intelligence artificielle

Modèles réduits

High performance computing

Numerical simulation

Online deep learning

In situ computing

Artificial intelligence

Surrogate models

Résumé

Nombreuses applications d’ingénieries et recherches scientifiques nécessitent la simulation fidèle de phénomènes complexes et dynamiques, transcrits mathématiquement en Équations aux Dérivées Partielles (EDP). Les solutions de ces EDP sont généralement approximées au moyen de solveurs qui effectuent des calculs intenses et génèrent des quantités importantes de données. Les applications requièrent rarement une unique simulation, mais plutôt un ensemble d’exécutions pour différents paramètres afin d’analyser la sensibilité du phénomène ou d’en trouver une configuration optimale. Ces larges ensembles de simulations sont limités par des temps de calcul importants et des capacités de stockage mémoire finies. La problématique du coût de calcul a jusqu’à présent encouragé le développement du calcul haute-performance (HPC) et de techniques de réductions de modèles. Récemment, le succès de l'apprentissage profond a poussé la communauté scientifique à considérer son usage pour accélérer ces ensembles de simulations. Cette thèse s'inscrit dans ce cadre en explorant tout d'abord deux techniques d’apprentissage pour la simulation numérique. La première propose d’utiliser une série de convolutions sur une hiérarchie de graphes pour reproduire le champ de vitesse d’un fluide tel que généré par le solveur à tout pas de temps de la simulation. La seconde hybride des algorithmes de régression avec des techniques classiques de réduction de modèles pour prédire les coefficients de toute nouvelle simulation dans une base réduite obtenue par analyse en composantes principales. Ces deux approches, comme la majorité de celles présentées dans la littérature, sont supervisées. Leur entraînement nécessite de générer a priori de nombreuses simulations. Elles souffrent donc du même problème qui a motivé leur développement : générer un jeu d’entraînement de simulations fidèles à grande échelle est laborieux. Nous proposons un cadre d’apprentissage générique pour l’entraînement de réseaux de neurones artificiels à partir de simulations générées à la volée tirant profit des ressources HPC. Les données sont produites en exécutant simultanément plusieurs instances d’un solveur pour différents paramètres. Le solveur peut lui-même être parallélisé sur plusieurs unités de calcul. Dès qu’un pas de temps est simulé, il est directement transmis pour effectuer l’apprentissage. Aucune donnée générée par le solveur n’est donc sauvegardée sur disque, évitant ainsi les coûteuses opérations d’écriture et de lecture et la nécessité de grands volumes de stockage. L’apprentissage se fait selon une distribution parallèle des données sur plusieurs GPUs. Comme il est désormais en ligne, cela crée un biais dans les données d’entraînement, comparativement à une situation classique où les données sont échantillonnées uniformément sur un ensemble de simulations disponibles a priori. Nous associons alors chaque GPU à une mémoire tampon en charge de mélanger les données produites. Ce formalisme a permis d’améliorer les capacités de généralisation de modèles issus de l’état de l’art, en les exposant à une diversité globale de données simulées plus riches qu’il n’aurait été faisable lors d’un entraînement classique. Des expériences montrent que l’implémentation de la mémoire tampon est cruciale pour garantir un entraînement de qualité à haut débit. Ce cadre d’apprentissage a permis d’entraîner un réseau à reproduire des simulations de diffusion thermique en moins de 2 heures sur 8TB de données générées et traitées in situ, améliorant ainsi les prédictions de 47% par rapport à un entraînement classique.

Many engineering applications and scientific discoveries rely on faithful numerical simulations of complex phenomena. These phenomena are transcribed mathematically into Partial Differential Equation (PDE), whose solution is generally approximated by solvers that perform intensive computation and generate tremendous amounts of data. The applications rarely require only one simulation but rather a large ensemble of runs for different parameters to analyze the sensitivity of the phenomenon or to find an optimal configuration. Those large ensemble runs are limited by computation time and finite memory capacity. The high computational cost has led to the development of high-performance computing (HPC) and surrogate models. Recently, pushed by the success of deep learning in computer vision and natural language processing, the scientific community has considered its use to accelerate numerical simulations. The present thesis follows this approach by first presenting two techniques using machine learning for surrogate models. First, we propose to use a series of convolutions on hierarchical graphs to reproduce the velocity of fluids as generated by solvers at any time of the simulation. Second, we hybridize regression algorithms with classical reduced-order modeling techniques to identify the coefficients of any new simulation in a reduced basis computed by proper orthogonal decomposition. These two approaches, as the majority found in the literature, are supervised. Their training needs to generate a large number of simulations. Thus, they suffer the same problem that motivated their development in the first instance: generating many faithful simulations at scale is laborious. We propose a generic training framework for artificial neural networks that generate data simulations on-the-fly by leveraging HPC resources. Data are produced by running simultaneously several instances of the solver for different parameters. The solver itself can be parallelized over several processing units. As soon as a time step is computed by any simulation, it is streamed for training. No data is ever written on disk, thus overcoming slow input-output operations and alleviating the memory footprint. Training is performed by several GPUs with distributed data-parallelism. Because the training is now online, it induces a bias in the data compared to classical training, for which they are sampled uniformly from an ensemble of simulations available a priori. To mitigate this bias, each GPU is associated with a memory buffer in charge of mixing the incoming simulation data. This framework has improved the generalization capabilities of state-of-the-art architectures by exposing them during training to a richer diversity of data than would have been feasible with classical training. Experiments show the importance of the memory buffer implementation in guaranteeing generalization capabilities and high throughput training. The framework has been used to train a deep surrogate for heat diffusion simulation in less than 2 hours on 8TB of data processed in situ, thus increasing the prediction accuracy by 47% compared to a classical setting.