Apprentissage statistique de dynamiques physiques

Statistical learning of physical dynamics

• Auteur / Autrice : Jérémie Donà
• Direction : Patrick Gallinari, Gérard Biau
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 25/05/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Marc Schoenauer
• Jury : Examinateurs / Examinatrices : Anna Korba
• Jury : Rapporteurs / Rapporteuses : Nicolas Bousquet, Amaury Habrard

Mots clés

Mots clés contrôlés

Systèmes dynamiques

Réseaux neuronaux (informatique)

Apprentissage automatique

Mots clés libres

Apprentissage machine

Réseaux de neurones

Modélisation hybride

Systèmes dynamiques

Régularisation

Séries temporelles

Machine Learning

Neural networks

Hybrid modeling

Résumé

La modélisation de processus naturels repose souvent sur une description physique qui prescrit les changements dans l'état du système. L'utilisation de connaissances spécifiques relatives au système permet la traduction de principes physiques en modèles, ensuite validés par des données expérimentales. Fort de succès dans de nombreux domaines comme la classification d'images, l'apprentissage profond est devenu un outil puissant pour la modélisation de processus physiques. Toutefois, l'apprentissage statistique de processus physiques uniquement guidée par les données souffre de plusieurs limites comme l'instabilité lors de l'apprentissage et les capacités de généralisation réduites. Un objectif de ce travail réside dans la construction d'outils permettant la prédiction de systèmes physiques. En particulier, nous étudions les phénomènes spatio-temporels obéissant à une équation différentielle et nous concentrons sur l'incorporation de connaissances a priori dans les algorithmes d'apprentissage. Ainsi nous étudions les systèmes hybrides physiques-statistiques pour la modélisation de processus physiques. Après avoir identifier les problèmes liés à l'apprentissage de dynamiques hybrides nous proposons un cadre et des contraintes adaptés afin d'améliorer l'interprétabilité et la performance des algorithmes appris. A l'inverse, les systèmes dynamiques ont fourni de nombreux outils pour améliorer les modèles statistiques. Toutefois, les réseaux de neurones restent qualifiés de "boîte-noire" car non interprétables. Ainsi, nous tenterons d'ouvrir la boîte noire et de proposer des architectures de réseaux de neurones plus interprétables et aux capacités de généralisation accrues.

The modeling of natural processes relies on a physical description that prescribes the changes in the state of the studied system. The use of domain specific knowledge about the system allows the translation of physical principles into models, which are then validated by experimental data. With its successes in many domain like image classification, deep learning has become a powerful tool for the modeling of physical processes, thanks to the significant increase in the amount of data available from sensors. Statistical learning of physical processes by a sole data-driven approach suffers from several limitations such as interpretation difficulties, stability during training and reduced generalization capabilities. The objective of this work is to provide tools in order to perform data-driven learning of physical processes. In particular, we study spatio-temporal phenomena which dynamics obey a differential equation and focus on incorporating domain and physical knowledge in learning algorithms. This leads us to study hybrid physical-statistical systems for the modeling of physical processes. We will identify the problems related to the learning of hybrid dynamics and propose a framework including constraints adapted to deep networks to improve the interpretability and the performance of the learned algorithms. Conversely, dynamical systems have provided numerous tools to improve statistical models. However, neural networks remain qualified as "black boxes" because they are not interpretable. Thus, we will attempt to open the black box and propose more interpretable neural network architectures with increased generalization performances for the modeling of spatio-temporal systems.