Design de Réseau de Neurones Artificiels (ANN) utilisant Compute-in-Memory

Artificial Neural Network (ANN) design using Compute-in-Memory

• Auteur / Autrice : Tatiana Moposita
• Direction : Lionel Trojman, Andrei Vladimirescu
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'ingénieur
• Date : Soutenance le 11/12/2023
• Etablissement(s) : Sorbonne université en cotutelle avec Università degli studi della Calabria
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’Informatique, Signal et Image, Électronique et Télécommunication (Paris)
• Jury : Président / Présidente : Alix Munier-Kordon
• Jury : Examinateurs / Examinatrices : Felice Crupi, Marco Lanuzza, Dimitri Galayko
• Jury : Rapporteurs / Rapporteuses : Gilles Jacquemod, Fernando García Redondo

Mots clés

Mots clés contrôlés

MOS complémentaires

Réseaux neuronaux (informatique)

Ordinateurs -- Mémoires à accès sélectif

Mémoires non-volatiles à accès sélectif

Mots clés libres

ANN

Réseau de neurones

Compute-In-Memory

ANN

Neural Networks

Compute-In-Memory

Résumé

De nos jours, l'ère du '' More than Moore'' a émergé comme une influence significative face aux limitations anticipées par la loi de Moore. Les systèmes informatiques explorent des technologies alternatives pour maintenir et améliorer les performances. Cette idée émergé pour résoudre les défis des systèmes électroniques inspirés des réseau biologiques, communément appelés Réseau Neurones Artificiels (ANN). L'utilisation des technologies emerging non-volatile memory (eNVM) est étudiée comme des alternatives prometteuses. Ces technologies offrent plusieurs avantages par rapport à la technologie CMOS traditionnelle, tels qu'une vitesse accrue, des densités plus élevées et une consommation d'énergie moindre. En conséquence, Compute-in-memory utilise les eNVM pour effectuer des calculs directement dans la mémoire, augmentant ainsi la capacité de mémoire et la vitesse de traitement. L'objectif de cette thèse se concentre sur la recherche de la conception de Réseau Neurones Artificiels en utilisant Compute-in-Memory, en employant des solutions matérielles efficaces pour les ANNs tant au niveau du circuit qu'au niveau de l'architecture. Les travaux de recherche récents dans ce contexte ont proposé des conceptions de circuits très efficaces pour optimiser les besoins de calcul énormes nécessaires au traitement des données par les ANNs. Ainsi, pour explorer les capacités d'un ANN au niveau du nœud de sortie, la conception de fonctions d'activation a été proposée. La sélection d'une fonction d'activation est significative car elle détermine la puissance et les capacités du réseau neuronal, et la précision des prédictions dépend principalement de ce choix. Pour évaluer l'efficacité d'une fonction d'activation conçue pour une implémentation analogique, les fonctions d'activation sigmoïde et softmax sont proposées. Cette thèse explore l'intégration de dispositifs mémoires émergents tels que la Spin-Transfer-Torque Magnetic Random Access Memory (STT-MRAM) avec la technologie CMOS. Cette approche combinée vise à tirer parti de la capacité intrinsèque de l'informatique en mémoire offerte par ces dispositifs. Perpendicular magnetic tunneling junction (MTJ) et des FinFET ont été pris en compte pour cette étude. Single-barrier (SMTJ) et double-barrier (DMTJ) sont considérés pour évaluer l'impact de la cellule STT-MRAM basée sur DMTJ par rapport à son homologue SMTJ conventionnel sur les performances d'un réseau neuronal à perceptrons multicouches (MLP) à deux couches. L'évaluation a été réalisée au moyen d'un cadre de simulation personnalisé, de niveaux de dispositif et de cellule jusqu'aux niveaux d'architecture mémoire et d'algorithme. De plus, pour améliorer l'efficacité énergétique d'une architecture Logic-in-Memory (LIM) basée sur les dispositifs STT-MTJ, une nouvelle architecture (SIMPLY+) issue de la logique Smart Material Implication (SIMPLY) et des technologies STT-MRAM basées sur MTJ perpendiculaires a été développée. Le schéma SIMPLY+ constitue une solution prometteuse pour le développement d'architectures informatiques en mémoire économes en énergie et fiables. Toutes les solutions de circuits ont été évaluées à l'aide de simulateurs de circuits commerciaux (par exemple, Cadence Virtuoso). L'activité de conception de circuits impliquant des dispositifs mémoires émergents a également nécessité l'utilisation et le calibrage de modèles compacts basés sur Verilog-A pour intégrer le comportement de ces dispositifs dans l'outil de conception de circuits. Les solutions présentées dans cette thèse impliquent des techniques qui offrent des avancées significatives pour les futures applications. Du point de vue de la conception, l'intégration de modules logiques avec la mémoire STT-MRAM est très réalisable en raison de la compatibilité transparente entre les STT-MRAM et les circuits CMOS. Cette approche est non seulement avantageuse pour la technologie CMOS standard, mais elle exploite également le potentiel des technologies émergentes.

Nowadays, the era of ”More than Moore” has arisen as a significant influence in light of the limitations anticipated by Moore’s law. The computing systems are exploring alternative technologies to sustain and enhance performance improvements. The idea of alternative innovative technologies has emerged in solving challenges of electronic systems inspired by biological neural networks, commonly referred to as Artificial Neural Network (ANN). The use of emerging non-volatile memory (eNVM) technologies are being explored as promising alternatives. These technologies offer several advantages over traditional CMOS technology, such as increased speed, higher densities, and lower power consumption. As a result, Compute-in-memory employs eNVMs to perform computation within the memory itself, hence increasing memory capacity and processing speed. The objective of this thesis focuses on the research of Artificial Neural Networks design using Compute in Memory, by employing efficient hardware solutions for ANNs at both circuit- and architecture-level. Recent research work in this context has proposed very efficient circuit designs to optimize the enormous computational needs required by data processing by ANNs. Therefore, to explore the capabilities of an ANN at the output node, the design of activation functions were proposed. The selection of an activation function is significant as it determines the power and capabilities of the neural network, and the accuracy of predictions is primarily dependent on this choice. To assess the effectiveness of an activation function designed for analog implementation, the sigmoid and the softmax activation function are proposed. Besides, this thesis explores the integration of emerging memory devices like Spin-Transfer-Torque Magnetic Random Access Memory (STT-MRAM) with CMOS technology. This combined approach aims to leverage the intrinsic capability of in-memory computing offered by these devices. STT-MRAMs based on state-of-the-art perpendicular magnetic tunneling junction (MTJ) and FinFETs has been considered for this study. Single-barrier magnetic tunnel junction (SMTJ) and double-barrier magnetic tunnel junction (DMTJ) devices are considered to evaluate the impact of STT-MRAM cell based on DMTJ against the conventional SMTJ counterpart on the performance of a two-layer multilayer perceptron (MLP) neural network. The assessment was carried out through a customized simulation framework from device and bitcell levels to memory architecture and algorithm levels. Moreover, to improve the energy-efficiency of a Logic-in-Memory (LIM) architecture based on STT-MTJ devices, a new architecture (SIMPLY+) from the Smart Material Implication (SIMPLY) logic and perpendicular MTJ based STT-MRAM technologies was developed. The SIMPLY+ scheme is a promising solution for the development of energy-efficient and reliable in-memory computing architectures. All circuit solutions were evaluated using commercial circuit simulators (e.g. Cadence Virtuoso). Circuit design activity involving emerging memory devices also required the use and calibration of Verilog-A based compact models to integrate the behavior of such devices into the circuit design tool. The solutions presented in this thesis involve techniques that offer significant advancements for future applications. From a design perspective, the integration of logic modules with STT-MRAM memory is highly feasible due to the seamless compatibility between STT-MRAMs and CMOS circuits. This approach not only proves advantageous for standard CMOS technology but also leverages the potential of emerging technologies.