Réseaux de neurones profonds pour la modélisation de phénomènes physiques complexes : incorporation de connaissances a priori

Neural Models for Learning Real World Dynamics and the Neural Dynamics of Learning

• Auteur / Autrice : Ibrahim Ayed
• Direction : Patrick Gallinari
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/12/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : Julien Salomon
• Jury : Examinateurs / Examinatrices : François Sausset, Lionel Mathelin, Taraneh Sayadi
• Jury : Rapporteurs / Rapporteuses : Alexandre Allauzen, Rémi Flamary

Mots clés

Mots clés contrôlés

Apprentissage profond

Équations aux dérivées partielles

Systèmes dynamiques

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones

Systèmes dynamiques

Équations aux dérivées partielles et ordinaires

Apprentissage profond

Modèles génératifs

Modélisation de phénomènes physiques

Neural networks

Physical Dynamics

Learning Dynamics

Résumé

Cette thèse se situe à l'intersection de deux domaines : d'une part celui des systèmes dynamiques, et notamment ceux qui peuvent être représentés par des équations différentielles d'évolution, et, d'autre part, celui des l'apprentissage profond. Son objectif est alors double : Il s'agit d'abord de chercher à modéliser, grâce aux techniques modernes de l'apprentissage profond, des phénomènes physiques complexes, dans divers cadres d'intérêt pour les praticiens. Ensuite, nous avons également tenté d'employer des outils issus des théories mathématiques permettant l'étude des équations différentielles afin de mieux comprendre certains aspects des dynamiques induites par l'apprentissage de réseaux de neurones profonds et leur fonctionnement.

The work presented in this thesis was initially motivated by the discrepancy between the impressive performances of modern neural networks and the lack of applications to scientific problems for which data abounds. Focusing on evolution problems which are classically modelled through ordinary or partial differential equations~(O/PDEs) naturally brought us to consider the more general problem of representing and learning such equations from raw data with neural networks. This was the inception of the first part of our work. The point of view considered in this first part has a natural counterpart: what about the dynamics induced by the trajectories of the NN's weights during training or by the trajectories of data points within them during inference? Can they be usefully modelled? This question was the core of the second part of our work and, while theoretical tools other than O/PDEs happened to be useful in our analysis, our reasoning and intuition were fundamentally driven by considerations stemming from a dynamical viewpoint.