Un modèle mathématique unificateur pour le codage par temps du premier spike dans les réseaux de neurones à impulsions

Theoretical framework for Time-To-First-Spike coding in Spiking Neural Networks

• Auteur / Autrice : Lina del Pilar Bonilla Camelo
• Direction : Timothée Masquelier
• Type : Thèse de doctorat
• Discipline(s) : Image, Information, Hypermédia
• Date : Soutenance le 12/12/2022
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche Cerveau et Cognition (Toulouse ; 1993-....)
• Jury : Président / Présidente : Laurent Perrinet
• Jury : Examinateurs / Examinatrices : Timothée Masquelier, Laurent Perrinet, Laurie Calvet, Simon Thorpe
• Jury : Rapporteurs / Rapporteuses : Laurent Perrinet, Laurie Calvet

Mots clés

Mots clés contrôlés

Codage

Réseaux neuronaux (informatique)

Bioinformatique

Mots clés libres

IA bio-inspirée

Ingénierie neuromorphique

Apprentissage automatique

Neurosciences computationnelles

Bio-inspired AI

Neuromorphic engineering

Machine learning

Computational neuroscience

Résumé

Au sein des réseaux de neurones impulsionnels, le codage ''Time-To-First-Spike'' (TTFS) utilise la latence du premier spike pour véhiculer de l'information. De nombreuses études ont démontré que ce type de codage peut transmettre beaucoup d'information rapidement. En effet, seul un spike par neurone est requis, ce qui permet d'encoder rapidement de l'information en exploitant la précision temporelle de ce spike, tout en consommant peu d'énergie. Dans ce travail de recherche théorique, nous présentons un nouveau cadre mathématique unificateur qui permet la comparaison rigoureuse d'un grand nombre de codes TTFS existants. Nous proposons également un nouveau code, integer-based Ranked NoM, et démontrons que son pouvoir discriminatif est supérieur à celui de tous les autres codes proposés jusqu'ici. Dans une première proposition appelée rank-order coding (ROC), les neurones sont activés au maximum quand les spikes arrivent dans l'ordre des poids synaptiques décroissants, grâce à un mécanisme de ''shunting inhibition'' qui désensibilise progressivement le neurone à mesure que les spikes arrivent. Dans une autre proposition appelée '' N -of- M '' coding, seuls les N premiers spikes de M neurones sont propagés, et ces motifs de premiers spikes sont déchiffrés par des neurones en aval qui utilisent des poids homogènes et pas de désensibilisation. En conséquence, l'ordre parmi les premiers spike n'importe pas. Nous proposons un nouveau codage, ''Ranked NoM'' (R-NoM), qui combine des caractéristiques de ROC et NoM: seuls les N premiers spikes sont propagés, mais leur ordre est déchiffré par les neurones en aval grâce à des poids inhomogènes et une désensibilisation linéaire. Le cadre mathématique unificateur permet de comparer ces trois codes en terme de ''discriminabilité'', qui représente dans quel mesure un neurone répond plus fortement à son motif préféré qu'à d'autres motifs aléatoires. Cette discriminabilité est bien supérieure pour R-NoM que pour les autres codes, et ce particulièrement dans la première phase des réponses. Nous argumentons aussi que R-NoM est bien plus adapté aux accélérateurs matériels que le code ROC original, bien que pas autant que NoM, qui n'utilise que des synapses binaires.

Time-To-First-Spike (TTFS) coding in spiking neural networks ( SNNs) uses the timing of the first spike to encode information. Experimental evidence indicates that a coding scheme based on the latency of the first spike transmits a large amount of information rapidly. The advantage of TTFS coding is expected because it uses precise timing and at most one spike per neuron which enables a super-fast transmission speed and low power processing. In this theoretical research work, we present a new unifying mathematical framework, which allows rigorous theoretical comparison of a broad range TTFS coding schemes. We also present a new TTFS code, integer-based Ranked-NoM, and demonstrate that it outperforms previous proposals in terms of discriminative power. In an early proposal, called rank-order coding (ROC), neurons are maximally activated when inputs arrive in the order of their synaptic weights, thanks to a shunting inhibition mechanism that progressively desensitizes the neurons as spikes arrive. In another proposal, called N -of- M coding, only the first N spikes of M input neurons are propagated, and these ''first spike patterns'' can be readout by downstream neurons with homogeneous weights and no desensitization: as a result, the exact order between the first spikes does not matter. We introduces a new potential coding - ''Ranked-NoM'' (R-NoM), which combines features from both ROC and NoM coding schemes: only the first N input spikes are propagated, but their order is readout by downstream neurons thanks to inhomogeneous weights and linear desensitization. The unifying mathematical framework allows to comparing the three codes in terms of discriminability, which measures to what extent a neuron responds more strongly to its preferred input spike pattern than to random patterns. This discriminability turns out to be much higher for R-NoM than for the other codes, especially in the early phase of the responses. We also argue that R-NoM is much more hardware-friendly than the original ROC proposal, although NoM remains the easiest to implement in hardware because it only requires binary synapses.