Apprentissage d'opérateur pour la modélisation de dynamiques spatiotemporelles issues d'EDPs

Operator learning for modeling spatiotemporal dynamics from PDEs

• Auteur / Autrice : Louis Serrano
• Direction : Patrick Gallinari, Jean-Noël Vittaut
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Soutenance le 28/05/2025
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Taraneh Sayadi
• Jury : Examinateurs / Examinatrices : Johannes Brandstetter
• Jury : Rapporteurs / Rapporteuses : Alexandros Kalousis, Amaury Habrard

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Équations différentielles

Systèmes dynamiques

Apprentissage profond

Mots clés libres

Apprentissage profond

Systèmes dynamiques

Equations différentielles

Réseaux de neurones

Deep Learning

Dynamical Systems

Differential equations

Neural networks

Résumé

Les équations aux dérivées partielles (EDP) sont omniprésentes en modélisation scientifique. Elles émergent naturellement des premiers principes physiques comme la conservation de la masse ou de l'énergie. Selon les hypothèses, elles peuvent prendre diverses formes et paramétrisations, mais n'admettent que rarement une solution analytique. Il est donc nécessaire de recourir à des méthodes numériques (différences finies, éléments finis, volumes finis, méthodes spectrales) pour obtenir des solutions approchées. Ces méthodes offrent des garanties théoriques en termes de convergence et d'analyse d'erreur, toutefois leur stabilité dépend fortement de la finesse de la discrétisation, ce qui engendre des coûts de calcul importants. Bien que certaines méthodes statistiques, comme la réduction d'ordre ou la paramétrisation, tentent de réduire ces coûts, elles restent peu adaptables à une diversité de configurations. L'accroissement des données disponibles et des ressources de calcul a récemment bouleversé des domaines comme la vision par ordinateur ou le traitement du langage naturel, où les modèles d'apprentissage profond surpassent les approches statistiques classiques basées sur des représentations conçues par des experts. Une tendance similaire émerge dans le domaine des simulations scientifiques, notamment pour la résolution d'EDP. Cette thèse étudie comment des réseaux de neurones entraînés sur des données issues de simulations numériques peuvent servir de modèles substituts capables de générer des solutions précises à faible coût. Ces modèles sont particulièrement prometteurs pour les applications industrielles, mais leur principal défaut est qu'ils s'adaptent mal aux changements dans la discrétisation des conditions initiales, dans la géométrie du domaine ou dans la paramétrisation de l'EDP. Ce manuscrit explore différentes approches pour améliorer la généralisation face à ces scénarios, et expose les principales contributions de cette thèse, qui portent sur les sujets suivants : Nous introduisons une nouvelle méthodologie basée sur les champs neuronaux pour l'apprentissage d'opérateur. Cette approche, appelée Coral, allège les contraintes liées au maillage de discrétisation des données. Elle peut être utilisée pour modéliser des dynamiques spatiotemporelles ou inférer des solutions stationnaires, sur des grilles régulières, irrégulières ou des nuages de points. Nous proposons Infinity, une version spécialisée de Coral pour la résolution des équations de Reynolds-Averaged Navier-Stokes (RANS). Contrairement à Coral, Infinity est conçu pour prendre en entrée à la fois des caractéristiques géométriques (par exemple, une fonction de distance signée) et des paramètres d'écoulement (par exemple, des vitesses d'entrée) pour prédire la solution stationnaire du système. Nous avons mené des expériences sur des cas représentatifs des défis rencontrés en mécanique des fluides numérique. Nous avons ensuite développé Aroma, un modèle substitut neuronal qui étend Coral et les modèles basés sur les transformeurs. Aroma repose sur une architecture encodeur-décodeur qui projette les observations vers une séquence de tokens latents en tenant compte de la géométrie du domaine. Pour la modélisation temporelle, nous utilisons un transformeur avec un mécanisme de débruitage pour accroître la stabilité des simulations. Nous nous sommes inspirés des capacités des modèles de langage à réaliser un apprentissage en contexte pour de nouvelles tâches, et proposons Zebra, une méthode qui permet d'adapter la prédiction des trajectoires à divers types de conditionnement, incluant des observations passées ou des trajectoires similaires. Le modèle utilise la quantification vectorielle pour discrétiser les observations en un vocabulaire physique, et un transformeur entraîné pour prédire le prochain token. Nous proposons un pipeline de données intégrant une diversité de tâches dynamiques pour améliorer la généralisation du modèle.

Partial differential equations (PDEs) are fundamental to scientific modeling, naturally emerging from physical principles such as mass and energy conservation. Depending on modeling assumptions, PDEs take various forms and parameterizations, yet most lack closed-form analytical solutions. Consequently, numerical methods are required to approximate solutions, converging toward the true solution as the discretization resolution increases. Over the years, scientists and engineers have developed a wide range of numerical solvers, including Finite Differences, Finite Elements, Finite Volumes, and Spectral Methods. These solvers offer theoretical guarantees: they approximate the continuous dynamics of the underlying PDEs, provide well-characterized error bounds, and can be analyzed. However, their performance is constrained by numerical stability—coarse spatial or temporal discretization can lead to instability—making them computationally expensive and time-consuming. Various statistical techniques, such as reduced-order modeling and parameterization, have been proposed to mitigate these costs, but they are not designed to generalize across a broad range of simulations. In recent years, the increasing availability of large-scale data and computational resources has triggered a paradigm shift in fields such as computer vision and natural language processing, where deep learning models trained directly on data have outperformed traditional statistical methods relying on hand-crafted features. A similar revolution is underway in scientific computing, particularly in PDE resolution. This thesis explores how neural networks trained on data can approximate numerical solvers. These neural surrogates generate accurate PDE solutions at a fraction of the computational cost of numerical simulations, making them attractive for engineering applications. However, their major limitation is poor generalization: they struggle with changes in problem setup, such as variations in discretization, domain geometry, or PDE parameters. This thesis focuses on improving the generalization capabilities of neural solvers across these challenging scenarios. The methods developed have direct implications for industrial applications, including geometric design optimization and accelerating numerical simulations. This manuscript presents the main contributions of this thesis, structured as follows: We introduce a novel framework based on neural fields for operator learning, addressing constraints on mesh discretization. Coral, our framework, enables dynamics modeling and geometry-aware inference on data discretized over regular grids, irregular grids, and even point clouds. We propose Infinity, a specialized version of Coral tailored for solving Reynolds-Averaged Navier-Stokes (RANS) equations. Unlike Coral, Infinity incorporates both geometrical features (e.g., signed distance functions) and flow parameters (e.g., inlet velocities) to predict the steady-state solution. We validate its performance on a dataset representative of real-world computational fluid dynamics challenges. We introduce Aroma, an improved neural surrogate, that extends Coral and existing transformer-based methods. Aroma employs an encoder-decoder architecture that maps observations to latent tokens while incorporating information about domain geometry. To enhance stability at inference, we integrate a diffusion-based transformer for modeling temporal dynamics. Inspired by the in-context learning capabilities of large language models, we propose Zebra, a novel framework for solving PDEs. Zebra adapts trajectory forecasts to various conditioning prompts, including past observations or similar trajectories. The model employs vector quantization to discretize observations into a physics-informed vocabulary and uses a decoder-only transformer trained with a next-token objective. We design a data pipeline that pretrains Zebra on diverse dynamical tasks, enabling robust generalization.