Assimilation de données en espace latent par des techniques de deep learning

Latent space data assimilation by using deep learning

• Auteur / Autrice : Mathis Peyron
• Direction : Selime Gürol, Serge Gratton
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 08/10/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Centre Européen de Recherche et Formation Avancées en Calcul Scientifique (Toulouse)
• Partenaire(s) de recherche : établissement délivrant conjointement le doctorat : Institut national polytechnique (Toulouse ; 1969-....)
• Jury : Président / Présidente : Ronan Fablet
• Jury : Examinateurs / Examinatrices : Selime Gürol, Serge Gratton, Ronan Fablet, Alban Farchi
• Jury : Rapporteurs / Rapporteuses : Arthur Vidard, Tijana Janjic-Pfander

Mots clés

Mots clés contrôlés

Liapounov, Stabilité de

Complexité de calcul (informatique)

Algorithmes

Mots clés libres

Assimilation de données

Apprentissage profond

Espace latent

Dynamique de substitution

Filtre de Kalman d'ensemble

Data Assimilation

Deep Learning

Latent space

Surrogate dynamics

Ensemble Kalman Filter

Résumé

Cette thèse, située à l’intersection de l’assimilation de données (AD) et de l’apprentissage profond (AP), introduit un concept nouveau : l’assimilation de données en espace latent. Elle permet une réduction considérable des coûts de calcul et des besoins mémoire, tout en offrant le potentiel d’améliorer la précision des résultats.Il existe de nombreuses façons d’intégrer l’apprentissage profond dans les algorithmes d’assimilation de données, chacune visant des objectifs différents (Loh et al., 2018; Tang et al., 2020; Laloyaux et al., 2020; Bonavita and Laloyaux, 2020; Brajard et al., 2020; Farchi et al., 2021b; Pawar and San, 2021; Leutbecher, 2019; Ruckstuhl et al., 2021; Lin et al., 2019; Deng et al., 2018; Cheng et al., 2024). Nous étendons davantage l'intégration de l'apprentissage profond, en repensant le processus même d’assimilation. Notre approche s’inscrit dans la suite des méthodes à espace réduit (Evensen,1994; Bishop et al., 2001; Hunt et al., 2007; Courtier, 2007; Gratton and Tshimanga, 2009; Gratton et al., 2013; Lawless et al., 2008; Cao et al., 2007), qui résolvent le problème d’assimilation en effectuant des calculs dans un espace de faible dimension. Ces méthodes à espace réduit ont été principalement développées pour une utilisation opérationnelle, car la plupart des algorithmes d’assimilation de données s'avèrent être excessivement coûteux, lorsqu’ils sont implémentés dans leur forme théorique originelle.Notre méthodologie repose sur l’entraînement conjoint d’un autoencodeur et d’un réseau de neurone surrogate. L’autoencodeur apprend de manière itérative à représenter avec précision la dynamique physique considérée dans un espace de faible dimension, appelé espace latent. Le réseau surrogate est entraîné simultanément à apprendre la propagation temporelle des variables latentes. Une stratégie basée sur une fonction de coût chaînée est également proposée pour garantir la stabilité du réseau surrogate. Cette stabilité peut également être obtenue en implémentant des réseaux surrogate Lipschitz.L’assimilation de données à espace réduit est fondée sur la théorie de la stabilité de Lyapunov qui démontre mathématiquement que, sous certaines hypothèses, les matrices de covariance d’erreur de prévision et a posteriori se conforment asymptotiquement à l’espace instable-neutre (Carrassi et al., 2022), qui est de dimension beaucoup plus petite que l’espace d’état. Alors que l’assimilation de données en espace physique consiste en des combinaisons linéaires sur un système dynamique non linéaire, de grande dimension et potentiellement multi-échelle, l’assimilation de données latente, qui opère sur les dynamiques internes sous-jacentes, potentiellement simplifiées, est davantage susceptible de produire des corrections significatives.La méthodologie proposée est éprouvée sur deux cas tests : une dynamique à 400 variables - construite à partir d'un système de Lorenz chaotique de dimension 40 -, ainsi que sur le modèle quasi-géostrophique de la librairie OOPS (Object-Oriented Prediction System). Les résultats obtenus sont prometteurs.

This thesis, which sits at the crossroads of data assimilation (DA) and deep learning (DL), introduces latent space data assimilation, a novel data-driven framework that significantly reduces computational costs and memory requirements, while also offering the potential for more accurate data assimilation results.There are numerous ways to integrate deep learning into data assimilation algorithms, each targeting different objectives (Loh et al., 2018; Tang et al., 2020; Laloyaux et al., 2020; Bonavita and Laloyaux, 2020; Brajard et al., 2020; Farchi et al., 2021b; Pawar and San, 2021; Leutbecher, 2019; Ruckstuhl et al., 2021; Lin et al., 2019; Deng et al., 2018; Cheng et al., 2024). We extend the integration of deep learning further by rethinking the assimilation process itself. Our approach aligns with reduced-space methods (Evensen,1994; Bishop et al., 2001; Hunt et al., 2007; Courtier, 2007; Gratton and Tshimanga, 2009; Gratton et al., 2013; Lawless et al., 2008; Cao et al., 2007), which solve the assimilation problem by performing computations within a lower-dimensional space. These reduced-space methods have been developed primarily for operational use, as most data assimilation algorithms are prohibitively costly, when implemented in their full theoretically form.Our methodology is based on the joint training of an autoencoder and a surrogate neural network. The autoencoder iteratively learns how to accurately represent the physical dynamics of interest within a low-dimensional space, termed latent space. The surrogate is simultaneously trained to learn the time propagation of the latent variables. A chained loss function strategy is also proposed to ensure the stability of the surrogate network. Stability can also be achieved by implementing Lipschitz surrogate networks.Reduced-space data assimilation is underpinned by Lyapunov stability theory, which mathematically demonstrates that, under specific hypotheses, the forecast and posterior error covariance matrices asymptotically conform to the unstable-neutral subspace (Carrassi et al., 2022), which is of much smaller dimension than the full state space. While full-space data assimilation involves linear combinations within a high-dimensional, nonlinear, and possibly multi-scale dynamic environment, latent data assimilation, which operates on the core, potentially disentangled and simplified dynamics, is more likely to result in impactful corrections.We tested our methodology on a 400-dimensional dynamics - built upon a chaotic Lorenz96 system of dimension 40 -, and on the quasi-geostrophic model of the Object-Oriented Prediction System (OOPS) framework. We obtained promising results.