Dynamique et computations dans les réseaux de neurones récurrents : Influence des potentiels d’action et de la variabilité

The influence of spiking and variability on dynamics and computations in recurrent neural networks

• Auteur / Autrice : Ljubica Cimesa
• Direction : Srdjan Ostojic
• Type : Projet de thèse
• Discipline(s) : Neurosciences et troubles neuronaux
• Date : Inscription en doctorat le ; Soutenance le 11/12/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Frontières de l'innovation en recherche et éducation (Paris ; 2006-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de neurosciences cognitives & computationnelles (Paris)
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Jean-Pierre Nadal
• Jury : Examinateurs / Examinatrices : Srdjan Ostojic, Tatjana Tchumatchenko, Robert Rosenbaum, Devika Narain
• Jury : Rapporteur / Rapporteuse : Tatjana Tchumatchenko, Robert Rosenbaum

Mots clés

Mots clés libres

Résaux de neurones récurrents

Résaux de neurones à impulsion

Dynamique de réseaux

Codage temporel

Variabilité scalaire

Inférence bayésienne

Recurrent neural network

Spiking neural network

Network dynamics

Timing

Scalar variability

Bayesian inference

Résumé

Les neurones du cerveau forment des réseaux qui sont le substrat du comportement et de l’exécution de calculs. Les modèles de réseaux neuronaux récurrents permettent d’étudier comment les calculs pertinents pour le comportement émergent de la dynamique collective de nombreux neurones d’un réseau. Une limitation commune de ces modèles est qu’ils sont souvent difficile à intérpreter. Les réseaux neuronaux récurrents à faible rang, récemment développés, sont des modèles analytiques qui expliquent comment les connexions entre les neurones d’un réseau produisent une dynamique à faible dimension qui sert de substrat aux calculs. Cependant, les réseaux récurrents de rang faible représentent les neurones comme des unités abstraites qui communiquent avec un taux de décharge continu, alors que les neurones dans le cerveau communiquent en utilisant des potentiels d’action discrets. Dans un premier projet, nous examinons dans quelle mesure les résultats des modèles à faible rang peuvent être transférés à des réseaux de neurones à potentiels d'action qui sont plus plausibles d’un point de vue biologique. Pour ceci, nous ajoutons une connectivité de faible rang à une connectivité excitatrice-inhibitrice aléatoire et nous comparons systématiquement les résultats des réseaux de taux à des réseaux de neurones intégre et tire, les deux réseaux ayant une partie de la connectivité de faible rang statistiquement équivalente. Nous montrons que les prédictions du champ moyen des réseaux de rate nous permettent d’identifier la dynamique à basse dimension à activité moyenne constante de la population pour plusieurs régimes d'activité, tels que les oscillations hors phase et les manifolds lents. Dans l’ensemble, nous avons constaté que la dynamique des réseaux a potentiels d'action avec une connectivité de faible rang est bien prédite par les réseaux de rate, mais avec une variabilité supplémentaire significative de l’activité. Dans un second projet, nous étudions les implications computationelles du bruit dans les modèles de réseaux effectuant des tâches de reproduction d’intervalles de temps. Dans les expériences chez l'humain, l’une des principales caractéristiques est l’augmentation de la variabilité des intervalles produits. Nous montrons tout d’abord que l’ajout de bruit dans des réseaux entraînés conduit à une variabilité scalaire indépendamment du type de bruit ou du type de connectivité. Par ailleirs, nous examinons les origines de la variabilité scalaire en étudiant des modèles simplifiés de rampe à seuil. Enfin, nous montrons que les réseaux avec une connectivité de faible rang biaisent les sorties vers la moyenne de la distribution d’entrée, ce qui est cohérent avec l’inférence bayésienne.

Neurons in the brain form networks that are the substrate for behavior and for performing computations. Recurrent neural network models are instrumental in investigating how behaviourally-relevant computations emerge from collective neural dynamics of many neurons in a network. A common limitation of these models is that they often lack interpretability. A recently developed, low-rank recurrent neural networks are analytically tractable models that explain how the connec- tions in between neurons in a network produce low-dimensional dynamics which serves as a substrate for computations. However, low-rank represent neurons as abstract units that communicate with continuous firing rate, while neurons in the brain communicate using discrete action potential. In a first project, we examine how far results from rate low-rank models transfer to more biologically plausible networks of spiking neurons. We add a low-rank connectivity on top of random excitatory-inhibitory connectivity, and we systematically compare the results of rate networks to networks of integrate-and- fire neurons, both networks having statistically equivalent low-rank part of the connectivity. We show that the mean-field predictions of rate networks allow us to identify the low-dimensional dynamics at constant population-average activity for several firing regimes, such as out-of-phase oscillations and slow manifolds. We finally implement spiking networks that perform nonlinear computations. Altogether, we found that dynamics in spiking networks with low-rank connectivity are well-predicted by rate networks, but with significant additional variability in activity. In a second project, we study the computational implications . In a second project, we study the computational implications of noise in rate models performing time-interval reproduction tasks. In relevant experiments, one of the prominent feature is that variability of produced intervals increases. We first show that adding noise in trained networks leads to scalar variability regardless of the type of noise or the type of connec- tivity. Moreover, we examine the origins of scalar variability by studying simplified ramp-to-threshold models. Finally we show that networks with low-rank connectivity bias the outputs towards the mean of the input distribution, consistent with Bayesian inference.