Calcul non conventionnel avec des nanocomposants memristifs : du calcul numérique aux accélérateurs neuromorphiques

Unconventional computing using memristive nanodevices : from digital computing to brain-like neuromorphic accelerator

• Auteur / Autrice : Mahyar Shahsavari
• Direction : Pierre Boulet, Philippe Devienne
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/12/2016
• Etablissement(s) : Lille 1
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Lille ; 1992-2021)
• Partenaire(s) de recherche : Laboratoire : Centre de Recherche en Informatique, Signal et Automatique de Lille

Mots clés

Mots clés contrôlés

Algorithmes bio-inspirés (intelligence artificielle)

Apprentissage automatique

Memristors

Architecture des ordinateurs

Réseaux neuronaux (informatique)

Ordinateurs neuronaux

Mots clés libres

Calcul non conventionnel

Calcul neuromorphique

Résumé

On estime que le nombre d'objets connectés à l'Internet atteindra 50 à 100 milliards en 2020. La recherche s'organise en deux champs principaux pour répondre à ce défi : l'internet des objets et les grandes masses de données. La demande en puissance de calcul augmente plus vite que le développement de nouvelles architectures matérielles en particulier à cause du ralentissement de la loi de Moore. La raison principale en est le mur de la mémoire, autrement appelé le goulet d'étranglement de Von Neumann, qui vient des différences de vitesse croissantes entre le processeur et la mémoire. En conséquence, il y a besoin d'une nouvelle architecture matérielle rapide et économe en énergie pour répondre aux besoins énormes de puissance de calcul.Dans cette thèse, nous proposons de nouvelles architectures pour les processeurs de prochaine génération utilisant des nanotechnologies émergentes telles que les memristors. Nous étudions des méthodes de calcul non conventionnelles aussi bien numériques qu'analogiques. Notre contribution principale concerne les réseaux de neurones à impulsion (RNI) ou architectures neuromorphiques. Dans la première partie de la thèse, nous passons en revue les memristors existants, étudions leur utilisation dans une architecture numérique à base de crossbars, puis introduisons les architectures neuromorphiques. La deuxième partie contient la contribution principale~: le développement d'un simulateur d'architectures neuromorphiques (N2S3), l'introduction d'un nouveau type de synapse pour améliorer l'apprentissage, une exploration des paramètres en vue d'améliorer les RNI, et enfin une étude de la faisabilité des réseaux profonds dans les RNI.

By 2020, there will be 50 to 100 billion devices connected to the Internet. Two domains of hot research to address these high demands of data processing are the Internet of Things (IoT) and Big Data. The demands of these new applications are increasing faster than the development of new hardware particularly because of the slowdown of Moore's law. The main reason of the ineffectiveness of the processing speed is the memory wall or Von Neumann bottleneck which is coming from speed differences between the processor and the memory. Therefore, a new fast and power-efficient hardware architecture is needed to respond to those huge demands of data processing. In this thesis, we introduce novel high performance architectures for next generation computing using emerging nanotechnologies such as memristors. We have studied unconventional computing methods both in the digital and the analog domains. However, the main focus and contribution is in Spiking Neural Network (SNN) or neuromorphic analog computing. In the first part of this dissertation, we review the memristive devices proposed in the literature and study their applicability in a hardware crossbar digital architecture. At the end of part~I, we review the Neuromorphic and SNN architecture. The second part of the thesis contains the main contribution which is the development of a Neural Network Scalable Spiking Simulator (N2S3) suitable for the hardware implementation of neuromorphic computation, the introduction of a novel synapse box which aims at better learning in SNN platforms, a parameter exploration to improve performance of memristor-based SNN, and finally a study of the application of deep learning in SNN.