Sur l'interprétation des composantes principales d'ordre supérieur

On the interpretation of higher-order principal components

• Auteur / Autrice : Allan Mancoo
• Direction : Sophie Denève, Christian Machens
• Type : Thèse de doctorat
• Discipline(s) : Neurosciences
• Date : Soutenance le 03/03/2021
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de neurosciences cognitives & computationnelles (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Henning Sprekeler
• Jury : Examinateurs / Examinatrices : Sophie Denève, Henning Sprekeler, Juan Álvaro Gallego, Shihab A. Shamma, Jakob Macke, N. Alex Cayco Gajic
• Jury : Rapporteur / Rapporteuse : Henning Sprekeler, Juan Álvaro Gallego

Mots clés

Mots clés contrôlés

Neurosciences

Mots clés libres

Réduction de la dimensionnalité

Contraintes de non-Négativité

Réseaux de neurones à impulsions

Dimensionality reduction

Non-negativity constraints

Spiking neural networks

Résumé

Les enregistrements à grande échelle de l'activité neuronale sont maintenant largement réalisés dans de nombreux laboratoires, ce qui soulève l’importante question de comment extraire les structures essentielles des données. Une approche courante consiste à réduire leur dimensionnalité. Cependant, l’interprétation des résultats peut être parsemée de difficultés. Le plus souvent, les méthodes linéaires telles que l'analyse en composantes principales (ACP) fonctionnent bien pour trouver des projections linéaires des données qui expliquent la majorité de la variance, mais généralement, elles présentent également une suite de composantes, dont plusieurs ressemblent à des fonctions d'ordre supérieur de certaines autres composantes. On les appellera “composantes d'ordre supérieur” (COS). Bien que ces COS suggèrent que la variété neurale est non linéaire, il n’est pas encore clair comment elles apparaissent et ce qu'elles signifient. Nous soutenons ici que ces COS apparaissent en grande partie à cause d'une non-linéarité bien connue --- l'activité neuronale est non-négative, ce qui fait plier la variété neurale, mais les COS résultants ne sont pas pertinents d'un point de vue fonctionnel. Nous menons notre analyse en partant de deux hypothèses essentielles : la lecture de l'activité de la population doit être linéaire et à faible dimension, et le taux d'activité global doit être limité pour des raisons énergétiques. Nous montrons, dans des simulations, que lorsque des activités neurales sont générées sous ces hypothèses, alors l'ACP extrait parfois les vrais signaux sous-jacents, mais affiche souvent une suite de COS pour compenser la courbure de la variété. Nous expliquons ces résultats de manière géométrique et proposons des méthodes de type ACP qui incorporent les contraintes de non-négativité de manière constructive. Nous validons nos méthodes avec des données de simulation, mais nous montrons aussi, sur un exemple de données expérimentales, que l'incorporation de cette simple non-linéarité permet une description plus concise que l'ACP. Cependant, il est possible qu'en plus des contraintes de non-négativité, la variété neurale présente une certaine non-linéarité supplémentaire. Nous supposons, en dernier lieu, que cette non-linéarité peut apparaître en fonction des computations effectuées par le réseau. Cependant, une compréhension claire de ces computations par des réseaux neuronaux proches de la biologie est toujours manquante. Nous complétons cette thèse en examinant les computations accomplies par les réseaux de neurones à impulsions (SNNs), dans un nouveau cadre inspiré de la théorie de l'optimisation convexe. Nous montrons qu'une large gamme de réseaux neuronaux calculent essentiellement des fonctions d'entrée-sortie convexes. De plus, ces réseaux peuvent également afficher plusieurs caractéristiques biologiques telles que des suites de potentiels d’action asynchrones et irréguliers, la robustesse aux perturbations, entre autres.

Large-scale recordings of neural activity are now widely carried out in many experimental labs, leading to the question of how to extract the essential structures in population data. One common approach is to use dimensionality reduction methods. However, interpretation of the results of these tools can be fraught with difficulties. Most commonly, linear methods such as principal component analysis (PCA) work well in finding linear projections of the data that explain most variance, but usually, also display a tail of components, among which several resemble higher-order functions of some other components, or ‘higher-order’ components (HOCs). While these HOCs suggest that the true neural manifold is non-linear, it is still unclear how they emerge and what they mean.In this thesis, we argue that these HOCs largely arise due to a well-known non-linearity --- individual neuronal activity is non-negative, which bends the neural manifold, but the resulting HOCs are otherwise functionally irrelevant. We lead our investigation with the crucial assumptions that readouts of population activity should be linear and lower-dimensional, and that overall firing rates should be limited for energetics reasons. We show, in simulations, that when neural activities are generated under these assumptions, then PCA sometimes extracts the true underlying signals, but often displays a tail of HOCs to compensate for the curvature of the manifold. We explain these findings geometrically and propose a set of PCA-like methods that incorporate the non-negativity constraints in a meaningful way. We validate our methods against ground truth data, but also show, in an example experimental dataset, that incorporating this simple non-linearity affords more succinct representations of the data than PCA.However, it is possible that the neural manifold exhibits some additional non-linearity besides the non-negativity constraints. We hypothesize lastly, that this non-linearity may emerge according to the computations done by the network. Yet, a clear understanding of such computations by biologically realistic neural networks is still missing. We complement this thesis by investigating the computations done by spiking neural networks (SNNs), within a new framework inspired from convex optimisation theory. We show that a broad class of SNNs fundamentally compute convex input-output functions. Interestingly, these networks can also display several biological features such asynchronous and irregular spike trains, robustness to perturbations, among others.