Réseaux de neurones sur graphes pour la simulation numérique des EDPs

Deep Graph Neural Networks for Numerical Simulation of PDEs

• Auteur / Autrice : Wenzhuo Liu
• Direction : Marc Schoenauer, Mouadh Yagoubi
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/04/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....) - Institut national de recherche en informatique et en automatique (France). Unité de recherche (Saclay, Ile-de-France)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Président / Présidente : Alexandre Allauzen
• Jury : Examinateurs / Examinatrices : François Jouve, Patrick Gallinari, Anne Sergent
• Jury : Rapporteurs / Rapporteuses : François Jouve, Patrick Gallinari

Mots clés

Mots clés contrôlés

Équations aux dérivées partielles

Réseaux neuronaux graphiques

Apprentissage profond

Mots clés libres

Apprentissage profond

Graph neural networks

EDPs

Deep learning

Graph neural networks

PDEs

Résumé

Les équations aux dérivées partielles (EDP) sont un outil essentiel de la simulation numérique pour modéliser des systèmes complexes. Cependant, la résolution de ces équations avec une grande précision nécessite généralement un coût de calcul élevé. Ces dernières années, les algorithmes d'apprentissage profond ont reçu un intérêt croissant pour l'apprentissage à partir d'exemples, et pourraient être utilisés comme substituts des méthodes d'analyse numérique, en appliquant directement les techniques d'apprentissage supervisé à des bases de données de solutions connues, car une fois le modèle neuronal appris, l'inférence des solutions a un coût marginal. De nombreux problèmes subsistent cependant, que cette thèse de doctorat tente de résoudre. La thèse se concentre en particulier sur trois défis majeurs dans l'application des méthodes d'apprentissage profond aux EDP : la gestion des maillages non structurés, qui peut difficilement se faire en utilisant les techniques de traitement d'images, sources d'immenses succès en apprentissage profond ; les problèmes de généralisation, en particulier pour des données hors-distribution par rapport aux données d'apprentissage ; et les coûts de calcul élevés pour générer ces données d'apprentissage. Nos trois contributions sont fondées sur les Réseaux de Neurones sur Graphes (GNNs) : un modèle hiérarchique inspirées des méthodes multi-grilles de l'analyse numérique ; le méta-apprentissage pour améliorer les performances sur les données hors distribution ; et l'apprentissage par transfert entre des ensembles de données multifidélité pour réduire le temps de génération des données d'apprentissage. Ces approches sont validées expérimentalement sur différents systèmes physiques.

Partial differential equations (PDEs) are an essential modeling tool for the numerical simulation of complex systems. However, their accurate numerical resolution usually requires a high computational cost. In recent years, deep Learning algorithms have demonstrated impressive successes in learning from examples, and their direct application to databases of existing solutions of a PDE could be a way to tackle the excessive computational cost of classical numerical approaches: Once a neural model has been learned, the computational cost of inference of the solution on new example is very low. However, many issues remain that this Ph.D. thesis investigates, focusing on three major hurdles: handling unstructured meshes, which can hardly be done accurately by simply porting the neural successes on image processing tasks; generalization issues, in particular for Out-of-Distribution examples; and the too high computational costs for generating the training data. We propose three contributions, based on Graph Neural Networks, to tackle these problems: A hierarchical model inspired by the multi-grid techniques of Numerical Analysis; The use of Meta-Learning to improve the performance of Out-of-Distribution data; and Transfer Learning between multi-fidelity datasets to reduce the computational cost of data generation. The proposed approaches are experimentally validated on different physical systems.