Incertitude synaptique pour le calcul dans la mémoire

Synaptic uncertainty for in-memory computing

• Auteur / Autrice : Djohan Bonnet
• Direction : Damien Querlioz, Elisa Vianello
• Type : Thèse de doctorat
• Discipline(s) : Electronique, Photonique et Micro-Nanotechnologies
• Date : Soutenance le 12/04/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Electrical, optical, bio : physics and engineering (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de nanosciences et de nanotechnologies (Palaiseau, Essonne ; 2016-....) - Laboratoire d'électronique et de technologie de l'information (Grenoble, Isère, France ; 1967-....)
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l’ingénierie et des systèmes (2020-….)
• Jury : Président / Présidente : Liliana-Daniela Buda
• Jury : Examinateurs / Examinatrices : Fabien Alibart, Emre Neftci, Julien Diard
• Jury : Rapporteurs / Rapporteuses : Fabien Alibart, Emre Neftci

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Statistique bayésienne

Mémoires non-volatiles à accès sélectif

Calculateurs analogiques

Intelligence artificielle

Microélectronique

Mots clés libres

Microélectronique

Intelligence artificielle

Calcul dans la mémoire

Mémoire résistive

Réseau de neurones bayésien

Microelectronics

Artificial Intelligence

In-Memory computing

Resistive memory

Bayesian neural network

Résumé

La forte demande pour les réseaux de neurones artificiels, combinée à leur coût énergétique élevé dû au ''memory bottleneck'' des architectures de von-Neumann, a intensifié les efforts pour surmonter les contraintes du matériel informatique. Cette thèse explore le domaine interdisciplinaire du calcul neuromorphique, en se concentrant sur des études expérimentales, des algorithmes et la conception de circuit intégrés. Dans la partie expérimentale, les caractéristiques électriques des mémoires vives basées sur la transition métal-oxyde (OxRAMs) et les mémoires à changement de phase (PCMs) sont étudiées pour comprendre leurs différentes variabilités. De plus, un réseau de neurones bayésien est implémenté sur 75 puces electroniques. Passant aux algorithmes, la recherche implique des analyses expérimentales et théoriques d'une nouvelle méthode d'apprentissage nommée MESU (MEtaplasticity from Synaptic Uncertainty). Cette méthode exploite l'incertitude synaptique dans les réseaux de neurones Bayésien pour l'apprentissage continuel. Enfin, pour la partie conception de circuit, un démonstrateur pour le calcul dans la mémoire est développé sans outils d'automatisation, tirant parti de la technologie OxRAM, couvrant des aspects allant du dimensionnement des transistors jusqu'à la réalisation du dessin des masques.

The high demand for Artificial Neural Networks, combined with their high energy cost due to the memory bottleneck of von-Neumann architectures, has intensified efforts to overcome hardware constraints. This thesis explores the interdisciplinary field of neuromorphic computing, focusing on experimental studies, algorithms, and integrated circuit design. The experimental part investigates the electrical characteristics of resistive random access memories based on metal-oxide transition (OxRAMs) and phase change memories (PCMs) to understand their different variabilities. Additionally, a Bayesian neural network is implemented across 75 electronic chips. Moving to algorithms, the research involves both experimental and theoretical analyses of a novel learning method named MESU, which stands for metaplasticity from synaptic uncertainty. This method exploits synaptic uncertainty in Bayesian neural networks for continual learning. Lastly, for the circuit design part, a full custom in-memory computing demonstrator is developed, leveraging OxRAM technology, covering aspects from transistor sizing to layout realization.