Repenser les algorithmes d’apprentissage inspirés de la biologie pour estimer les gradients par la physique des systèmes neuromorphiques

Rethinking biologically inspired learning algorithmstowards better credit assignment for on-chip learning

• Auteur / Autrice : Maxence Ernoult
• Direction : Julie Grollier
• Type : Thèse de doctorat
• Discipline(s) : Physique
• Date : Soutenance le 30/06/2020
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Physique en Île-de-France (Paris ; 2014-....)
• Partenaire(s) de recherche : Equipe de recherche : Laboratoire de physique théorique et hautes énergies (Paris ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Centre de nanosciences et de nanotechnologies (Palaiseau, Essonne ; 2016-....) - Laboratoire Albert Fert (Palaiseau, Essonne ; 1995-....)
• Jury : Président / Présidente : Pierre Bessière
• Jury : Examinateurs / Examinatrices : Laurent Daudet, Claudia Teodora Petrisor
• Jury : Rapporteurs / Rapporteuses : Timothée Masquelier, Blake Richards

Mots clés

Mots clés contrôlés

Algorithmes bio-inspirés (intelligence artificielle)

Memristors

Réseaux neuronaux (informatique)

Processeurs graphiques

Apprentissage profond

Mots clés libres

Deep Learning biologiquement inspiré

Machines de Boltzmann

Calcul neuromorphique

Réseaux récurrents

Backpropagation

Apprentissage supervisé

Biologically plausible deep learning

Neuromorphic computing

Hardware

Recurrent neural networks

Equilibrium propagation

Supervised learning

Résumé

Le deep learning s’est imposé à l’ensemble de la société grâce à l’utilisation des GPUs (Graphical Processing Units). Aller au-delà de la capacité des GPUs pour l’entraînement des réseaux de neurones est la motivation principale de cette thèse. Une approche possible est le calcul neuromorphique consistant à repenser l’ordinateur à partir de zéro en imitant les caractéristiques du cerveau. En particulier, les memristors, qui peuvent stocker des valeurs de poids sous forme d’états de conductance, sont des candidats prometteurs pour les synapses artificielles. Une approche excitante pour réaliser des réseaux de neurones physiques utilisant memristors serait l’apprentissage sur puce : un tel dispositif pourrait réaliser à la fois l’inférence, le calcul de gradient et la mise à jour correspondante des conductances des memristors. Cependant, l’apprentissage sur puce est extrêmement difficile pour deux raisons. Tout d’abord, le calcul du gradient de la fonction objectif appelle à première vue à l’utilisation de l’algorithme de « backpropagation », qui est intrinsèquement difficile à implémenter sur puce. Le deuxième défi de l’apprentissage sur puce est l’incrément de conductance à réaliser étant donnée une valeur de gradient : les memristors présentent de nombreuses imperfections qui entravent considérablement l’apprentissage sur puce. Dans cette thèse, nous proposons de démêler ces deux aspects de l’apprentissage sur puce. D’une part, nous étudions l’effet des imperfections des memristors sur l’apprentissage des machines Boltzmann restreintes et proposons des stratégies de programmation appropriées. D’autre part, nous nous appuyons sur l’algorithme de « Equilibrium Propagation », un équivalent de la backpropagation dont la règle d’apprentissage, calculée par la physique du système lui-même, est spatialement locale et mathématiquement fondée.

The deep learning approach to AI has taken upon the whole society thanks to the use of Graphical Computing Units (GPUs). Going beyond the capability of the GPUs for deep neural network training is the core motivation of this thesis. One possible approach is neuromorphic computing, which consists in rethinking the computer from scratch by mimicking brain features. In particular memristors, which can store weight values as conductance states, are promising artificial synapse candidates. An appealing approach to train memristor-based hardware neural networks would be on-chip learning: the chip could sustain inference, gradient computation and subsequent conductance update altogether. However, on-chip learning is extremely challenging for two reasons. First, the computation of the objective function gradient calls at first sight for backpropagation, which is hardware unfriendly. More hardware convenient approaches use learning heuristics that poorly scale to deeper architectures, probably because of their lack of theoretical guarantees.The second challenge of on-chip learning is the conductance update to be performed given a gradient value: memristors exhibit many imperfections which dramatically hamper on-chip learning. In this thesis, we propose to disentangle these two aspects of on-chip learning. On the one hand, we study the effect of memristive device imperfections on the training of Restricted Boltzmann Machines and propose appropriate programming strategies. On the other hand, we build upon Equilibrium Propagation, a hardware friendly counterpart of backpropagation whose learning rule, computed by the physics of the system itself, is spatially local and mathematically grounded.