Inférence à base de simulateurs par réseaux de neurones : application aux signaux de neurosciences

Simulation-based inference with deep learning : application to neuroscience time series data

• Auteur / Autrice : Julia Linhart
• Direction : Alexandre Gramfort, Pedro Luiz Coelho Rodrigues
• Type : Thèse de doctorat
• Discipline(s) : Informatique mathématique
• Date : Soutenance le 05/12/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Saclay, Ile-de-France)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Elisabeth Gassiat
• Jury : Examinateurs / Examinatrices : Rémi Bardenet, Kyle Cranmer, Jakob Macke
• Jury : Rapporteurs / Rapporteuses : Rémi Bardenet, Kyle Cranmer

Mots clés

Mots clés contrôlés

Tests d'hypothèses (statistique)

Apprentissage profond

Méthodes de simulation

Neurosciences

Statistique mathématique

Apprentissage automatique

Mots clés libres

Apprentissage machine

Inférence statistique

Neurosciences

Simulations

Modèles génératifs profonds

Validation

Machine learning

Statistical inference

Neuroscience

Simulation-based

Deep generative models

Validation

Résumé

Les simulateurs jouent un rôle central dans la science expérimentale, facilitant l'exploration de systèmes complexes avec des événements rares et difficilement mesurables, que ce soit en physique des particules, en climatologie, en astrophysique, en cosmologie ou en neurosciences. L'objectif est d'inverser ces modèles computationnels et de déterminer les paramètres qui décrivent au mieux les observations expérimentales, afin d'enrichir notre compréhension du monde réel. Cependant, au vu de la complexité des processus génératifs modélisés, la vraisemblance de ces simulateurs est souvent difficilement calculable et les méthodes d'inférence bayésienne classiques, telles que le MCMC, généralement inapplicables. L'inférence à base de simulations (SBI) constitue une alternative prometteuse, où la vraisemblance est implicitement remplacée par l'action du simulateur. Grâce aux avancées en apprentissage profond, de nouveaux algorithmes sont maintenant capables de traiter des données en haute dimension et d'approximer des distributions postérieures arbitrairement complexes sur les paramètres du simulateur. Le SBI a désormais le potentiel de révolutionner la science expérimentale. Cette thèse se concentre sur des méthodes de SBI basées sur des modèles génératifs profonds puissants, connus sous le nom de ''normalizing flows'' et de ''modèles de diffusion''. Plus précisément, en utilisant le Jansen and Rit Neural Mass Model (JRNMM) comme un exemple récurrent en neurosciences computationnelles, le but est d'investiguer leur performance en termes de précision, d'efficacité et de fiabilité. Une première analyse expérimentale avec des résultats sur des signaux cérébraux réels, motive l'intégralité des contributions méthodologiques de ce projet doctoral. En particulier, nous proposons une nouvelle méthode de validation, avec des garanties théoriques, ainsi que des diagnostiques facilement interprétables, pour une évaluation fiable d'estimateurs de densité conditionnelle. De plus, nous introduisons un algorithme d'inférence innovant, qui exploite l'accès à plusieurs observations afin d'obtenir des estimations de paramètres plus précises. Il s'agit d'un algorithme d'échantillonnage basé sur la diffusion avec des avantages remarquables par rapport à celles basées sur les “normalizing flows”, notamment en termes de flexibilité et de coût de simulation. Suite à une démonstration empirique de l'amélioration de nos propositions par rapport aux méthodes existantes, les illustrations numériques sur le JRNMM nous permettent de souligner leurs avantages pour optimiser le processus expérimental dans des scénarios réels complexes. En effet, les résultats obtenus avec notre nouvelle méthode d'inférence révèlent l'incertitude irréductible due à la dégénérescence de paramètres couplés, un phénomène caractéristique des dynamiques neuronales. Nos diagnostiques permettent de valider la qualité de la distribution postérieure estimée et garantit ainsi sa fiabilité dans l'exploration de nouvelles techniques de modélisation pour résoudre ce problème de dégénérescence. En résumé, les contributions méthodologiques de cette thèse apportent des avancées significatives dans le domaine du SBI en proposant des diagnostics de validation pertinents et des méthodes d'inférence innovantes. Appuyé par diverses initiatives open-source, ce travail vise à établir le SBI et les modèles génératifs profonds comme des outils utiles et fiables pour la recherche scientifique, permettant par exemple une modélisation plus précise et réaliste du cerveau, afin d'expliquer des comportements neuronaux complexes.

Expressive simulators are at the core of modern experimental science, enabling the exploration of rare and challenging-to-measure events in complex systems across various fields such as particle physics, climate science, astrophysics, cosmology and neuroscience. The goal is to deepen our understanding of the world that surrounds us, by inverting such carefully designed models of reality and finding the input parameters that best describe experimental observations. However, the complexity of the generative processes described by these simulators often results in intractable likelihoods, leaving classical Bayesian inference methods like MCMC inapplicable. Simulation-based inference (SBI) offers a promising alternative by leveraging simulations to bypass the need for explicit likelihood evaluations. Building on recent advances in deep learning, novel algorithms can now scale to high-dimensional data and approximate arbitrary complex posterior distribution over the model parameters, thus holding potential to revolutionize experimental science. This thesis investigates the use of deep generative models, in particular normalizing flows and diffusion models, to address SBI tasks in terms of accuracy, efficiency and reliability. To do so, the Jansen and Rit Neural Mass Model (JRNMM) serves as a recurring example from computational neuroscience. Initial experiments on real brain signals motivate all the theoretical contributions. Specifically, we introduce a new validation method that provides theoretically grounded and easy-to-interpret diagnostics for a reliable assessment of conditional density estimators. Additionally, a novel diffusion-based posterior sampling algorithm is proposed, which exploits multiple observations for more precise parameter estimations. It improves upon approaches based on normalizing flows, especially in terms of flexibility and simulation efficiency. We empirically demonstrate the increased performance of our proposals w.r.t. existing approaches. Numerical illustrations on the JRNMM further highlight their benefits in enhancing the experimental workflow for challenging real-world scenarios. Indeed, results obtained with our novel inference method reveal the irreducible uncertainty caused by the indeterminacy of coupled parameters, which are typical for neural dynamics. Our diagnostics allow us to confirm the quality of the inferred posterior, ensuring its reliable use in exploring new modeling techniques to resolve this indeterminacy issue. In summary, the methodological contributions presented in this thesis advance the field of SBI through informative validation diagnostics and improved inference methods. Supported by various open-source initiatives, this work is part of a general effort to establish SBI and deep generative models as trustworthy and valuable tools in scientific research, for example, allowing neuroscientists to build better specified models and explain complex neural behavior.