Réseaux de neurones profonds et équations aux dérivées partielles

Deep neural networks and partial derivative equations

• Auteur / Autrice : Léon Migus
• Direction : Julien Salomon, Patrick Gallinari
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 01/12/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jacques-Louis Lions (Paris ; 1997-....)
• Jury : Président / Présidente : Rodolphe Turpault
• Jury : Examinateurs / Examinatrices : Romain Tavenard, Olga Mula Hernandez
• Jury : Rapporteur / Rapporteuse : Emmanuel Frénod, Gilles Louppe

Mots clés

Mots clés contrôlés

Analyse numérique

Apprentissage automatique

Équations aux dérivées partielles

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones

Equations différentielles

Schémas numériques

Apprentissage machine

Deep neural networks

Differential equations

Numerical schemes

Machine learning

Résumé

L'étude des systèmes physiques, modélisés par des équations aux dérivées partielles, représente une pierre angulaire de la recherche scientifique. Ces équations, qui décrivent la relation entre une fonction et ses dérivées partielles à travers différentes variables, sont essentielles pour modéliser divers phénomènes avec des applications en climatologie ou astronomie par exemple. La récente accessibilité en masse des données a favorisé l'essor des méthodes basées sur les données et plus particulièrement des méthodes d'apprentissage profond (Deep Learning, DL), qui peuvent apprendre des modèles complexes en utilisant des grandes quantités de données. Cependant, pour les systèmes physiques, même avec une quantité apparemment importante de données, les données sont souvent rares par rapport à la complexité des problèmes, ce qui constitue un défi pour ces méthodes d'apprentissage profond. De plus, ces problèmes posent des défis particuliers aux algorithmes de DL, en pouvant être mal posés, chaotiques ou très sensibles aux conditions initiales. En plus de ces défis, des garanties théoriques ou expérimentales de convergence sont recherchées, ce que les méthodes DL peuvent ne pas avoir. Dans cette thèse, nous nous attaquons à certains de ces défis par trois approches distinctes. Dans la première partie de ce travail, nous appliquons des concepts de l'analyse numérique au DL, en offrant deux perspectives : - l'incorporation de schémas numériques multi-grilles dans une architecture DL multi-échelle, démontrant son efficacité dans la résolution de la loi de Darcy et des équations de Burgers 1D visqueuses et non stationnaires. - l'adaptation de schémas numériques implicites dans des réseaux de neurones profonds, garantissant la stabilité des prévisions pour les systèmes dynamiques par le biais de certaines contraintes sur les poids du réseau, conduisant à de meilleurs résultats de prévision à long terme pour deux équations de transport. Dans la deuxième partie de ce travail, nous concevons un modèle hybride pour aborder la conception de la loi de frottement dans les équations de Saint-Venant. Cela implique l'apprentissage de la loi de frottement à partir des observations à travers un schéma numérique. Les expériences consistent en une vaste analyse de la robustesse et de la convergence pour un cas stationnaire et confirment l'efficacité sur un cas dynamique. Dans la troisième partie de ce travail, nous explorons les méthodes continues à travers deux travaux basés sur les représentations neuronales implicites (Implicit Neural Representations, INR) : - INFINITY est une méthode fondée sur les INRs qui peut être appliquée aux problèmes statiques. Elle est testée sur les équations de RANS pour la modélisation de profils aérodynamiques, et conduit à une prédiction correcte des champs physiques et des coefficients de traînée et de portance. - TimeFlow est un algorithme général qui utilise les INR pour imputer et prévoir des séries temporelles. De par sa nature continue, TimeFlow peut gérer les données manquantes, l'échantillonnage irrégulier et les observations non alignées provenant de capteurs multiples.

The study of physical systems, modeled by partial differential equations (PDEs), represents a cornerstone of scientific research. These equations, describing the relation between some function and its partial derivatives across variables, are vital for modeling diverse phenomena, for eg fluid dynamics and heat transfer, with applications in various domains such as climate science and astronomy. In the recent years, data has become readily available, explaining partly the rise of data-driven methods and more particularly Deep Learning (DL) methods. They excel in training complex models on a large amount of data, while being computationally effective at inference. However, for physical systems, even with apparently large amount of data, data is often scarce compared to the complexity of the problems, which is a challenge for DL methods. More importantly, the problems faced when applying DL methods to physical systems are very different from the usual DL problems, with physical problems potentially being be ill-posed, chaotic or very sensitive to initial conditions. In addition to these main challenges, practitioners in numerical analysis or the industry seek theoretical or experimental guarantees of convergence, which DL methods can lack of. In this thesis, we tackle some of these challenges through three distinct approaches. In the first part of this work, we apply concepts from numerical analysis into DL frameworks, offering two perspectives: - the incorporation of multigrid numerical schemes into a Multi-Scale DL architecture, the Multipole Graph Neural Operator, demonstrating its efficacy in solving steady-state Darcy flow and 1D viscous unsteady Burgers' equations - the adaptation of implicit numerical schemes into neural networks, ensuring forecasting stability for dynamical systems via some constraints on the weights of the neural network, leading to improved long-term forecasting results for two transport PDEs. In the second part of this work, we design a hybrid model to address the friction law design in Shallow-Water equations. This implies learning the friction law from observations through a numerical solver. The experiments focus on a vast analysis of the robustness and convergence for a stationary case and confirm the efficacy on the dynamic case. In the third part of this work, we explore continuous methods through two works based on Implicit Neural Representations (INRs): -INFINITY is a INR based method that can be applied to static PDE problems. It is tested on the RANS equations for surrogate modeling of airfoils. INFINITY can accurately infer physical fields throughout the volume and surface, leading to a correct prediction of the drag and lift coefficients, which are crucial for airfoil design. - TimeFlow is a general framework using INRs to impute and forecast time series. By its continuous nature, TimeFlow can handle missing data, irregular sampling and unaligned observations from multiple sensors while having similar performances to state-of-the-art algorithms and being able to generalize to unseen samples and time windows.