How can artificial neural networks composed of nanodevices learn ?
Réseaux de neurones à l'échelle nano. Quels modèles d'apprentissage ?
Résumé
The generalization performance of deep neural networks comes from their ability to learn, which requires significant computational resources and is extremely energy-intensive, far exceeding the consumption of the brain, from which these models are nevertheless inspired. Neuromorphic architectures approximate the functioning of the brain by connecting as closely as possible to synapses and physical neurons. The use of emerging nano-technologies for these components is very promising to gain density and energy. The training of neural networks is, most often, performed on a circuit external to the network. This externalization of the computations considerably increases the energy cost and the surface area compared to the network alone. To have a state of the art learning without this additional circuit requires the development of new algorithms. The goal of the thesis was the development of new algorithms dedicated to neuromorphic chips, designed for intrinsic learning, i.e. without additional circuitry, where the signals from the neurons compute and apply locally the change of the synaptic weights. We have developed an algorithm for spiking neurons inspired by Equilibrium Propagation, with intrinsic learning that achieves state-of-the-art results on image classification problems. We have shown that EqSpike is compatible with the use of nano-components, in particular memristors as synapses. In particular, we have shown the robustness of this algorithm to realistic inter-component variances. We have also proposed two variants of EqSpike with different pulse processing to apply the learning law and responding to different hardware constraints. The algorithms developed in the thesis would allow a power saving of several orders of magnitude compared to Von Neumann architectures and to embed the learning, once deployed on neuromorphic chips.
La performance de généralisation des réseaux de neurones profonds vient de leur capacité d'apprentissage qui requiert des ressources de calcul importantes et est extrêmement gourmand en énergie, dépassant de loin la consommation du cerveau, dont ces modèles sont pourtant inspirés. Les architectures neuromorphiques se rapprochent du fonctionnement du cerveau en connectant au plus près des synapses et des neurones physiques. L'utilisation de nano-technologies émergentes pour ces composants est très prometteuse pour gagner en densité et en énergie. L'entraînement des réseaux de neurones est, le plus souvent, effectué sur un circuit externe au réseau. Cette externalisation des calculs augmente considérablement le coût énergétique et la surface comparé au réseau seul. Avoir un apprentissage à l'état de l'art sans ce circuit additionnel nécessite de développer de nouveaux algorithmes. Le but de la thèse a été l'élaboration de nouveaux algorithmes dédiés aux puces neuromorphiques, conçus pour un apprentissage intrinsèque, c'est-à-dire sans circuit additionnel, où les signaux des neurones calculent et appliquent localement le changement des poids synaptiques. Nous avons développé EqSpike, un algorithme pour les neurones impulsionnels inspiré d'Equilibrium Propagation, avec un apprentissage intrinsèque qui permet d'obtenir des résultats à l'état de l'art sur des problèmes de classification d'images. Nous avons montré qu'EqSpike est compatible avec l'utilisation de nano-composants, en particulier de memristors comme synapses. Nous avons en particulier montré la robustesse de cet algorithme à des variances inter-composant réalistes. Nous avons de plus proposé deux variantes d' EqSpike avec un traitement des impulsions différent pour appliquer la loi d'apprentissage et répondant à différentes contraintes matérielles. Les algorithmes développés dans la thèse permettraient une économie d'énergie de plusieurs ordres de grandeur comparé aux architectures Von Neumann et d'embarquer l'apprentissage, une fois déployés sur des puces neuromorphiques.
Origine : Version validée par le jury (STAR)