Conception d'un système d'Intelligence Artificielle (Tensor Processing Unit - TPU) à très basse consommation basé sur le calcul dans la mémoire.

Design of a very low power Artificial Intelligence system (Tensor Processing Unit - TPU) based on memory computation.

• Auteur / Autrice : Emilien Taly
• Direction : Elena-Ioana Vatajelu
• Type : Projet de thèse
• Discipline(s) : Nano électronique et Nano technologies
• Date : Inscription en doctorat le 15/04/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal
• Partenaire(s) de recherche : Laboratoire : Techniques de l'Informatique et de la Microélectronique pour l'Architecture des systèmes intégrés

Mots clés

Mots clés libres

Réseau neuronal convolutif

Calculs en mémoire

Mémoire non volatile

Mémoire vive statique

Basse consommation

Traitement de tenseur

In Memory Computing (IMC)

Static Random Access Memory (SRAM)

Tensor Processing Unit (TPU)

Convolutional Neural Network (CNN)

Non-Volatile Memory (NVM)

Low power

Résumé

Les récents développements de notre société ont donné naissance à de nouveaux domaines d'application (tels que l'intelligence artificielle-IA) qui nécessitent une efficacité informatique extrêmement importante avec de faibles ressources (par exemple, l'énergie). La mise en œuvre de réseaux neuronaux matériels est un sujet d'actualité dans la recherche et il est désormais considérée comme stratégique pour plusieurs entreprises. En effet, l'intérêt récent autour des réseaux neuronaux profonds pour la reconnaissance des images a mis un nouveau coup d'intérêt sur l'ingénierie neuromorphique et le secteur de l'apprentissage profond est maintenant dominé par quelques géants industriels (Nvidia, Google, Intel...). Ils s'appuient généralement sur des General-Purpose Graphics Processing Units (GPGPU) pour le processus d'apprentissage, et sur du matériel spécialisé pour l'inférence à faible consommation d'énergie sur des cibles intégrées, dont l'efficacité énergétique est reconnue. Dans ce contexte, Google a développé le Tensor Processing Unit (TPU), qui est un circuit intégré spécifique à l'application de l'accélérateur IA (ASIC),développé spécifiquement pour l'apprentissage machine en réseau neuronal, notamment à l'aide du logiciel TensorFlow. Les algorithmes neuronaux considérés aujourd'hui sont essentiellement dérivés de deux domaines encore dissociés : l'apprentissage machine (utilisé par exemple pour l'analyse de données) et les neurosciences (qui cherchent à modéliser de manière plus réaliste le fonctionnement du cerveau). Des projets de premier plan en ingénierie neuromorphique, qui ont rapproché ces deux domaines, ont conduit à la création de puces puissantes inspirées par le cerveau, telles que TrueNorth ou SpiNNaker. Ces technologies fonctionnent bien dans les fermes informatiques centralisées mais dépassent les besoins de consommation d'énergie des systèmes embarqués. Le développement de ces applications stagne en raison des limites des architectures informatiques actuelles. En conséquence, le paradigme informatique a évolué vers des accélérateurs dédiés dans des nouvelle architectures innovantes. Le déplacement du calcul vers la mémoire (calcul centré sur les données) est un paradigme informatique émergent qui a montré (au niveau académique) un énorme potentiel en termes d'efficacité informatique globale. Ce paradigme informatique est également appelé 'calcul en mémoire' (CIM). Le paradigme de calcul centrée sur les données exige la conception et la mise en œuvre de solutions matérielles dédiées aux accélérateurs IA pour faire face à la grande quantité de données à traiter avec une latence minimale. Néanmoins, des exigences strictes sur les caractéristiques non fonctionnelles de telles implémentations sont nécessaires pour avoir un produit utilisable et compétitif. Plus particulièrement, un noyau d'accélérateur IA doit répondre aux besoins suivants : réutilisabilité et polyvalence, très faible consommation d'énergie, haute précision, faible surface silicium, tout en permettant des opérations en parallèle. A l'heure actuelle, tous les accélérateurs IA matériels en production (TPU, Nervana, DGX, Inferencia, etc.) ou les IP disponibles pour l'intégration dans des circuits et systèmes spécialisés utilisent les techniques de conception et la technologie CMOS numérique classiques. Ceci s'explique car cette technologie sera encore pendant un temps certain la technologie d'intégration matérielle dominante, au vu de son coût de fabrication et de la maîtrise de la production industrielle, et par le fait que plusieurs outils de conception existent pour cela. Cependant, afin de réduire la consommation d'énergie (au moins 2x) et la latence (au moins 3x), une approche totalement différente doit être étudiée. Dans ce contexte, le paradigme du calcul en mémoire est une technique prometteuse qui minimise le transport des données, le principal goulot d'étranglement des performances et le coût énergétique de la plupart des applications gourmandes en données. Cette thèse profitera des avantages avérés du CIM pour concevoir un accélérateur d'IA à très faible consommation et s'articulera autour des axes suivants : la description de l'application cible, la mise en correspondance de l'application IA sélectionnée avec la solution CIM cible, la parallélisation de la solution et la mise en œuvre de l'accélérateur basé sur le CIM.

Recent developments in our society have given rise to new fields of application (such as artificial intelligence-AI) which require extremely high IT efficiency with low resources (eg energy). The implementation of hardware neural networks is a hot topic in research and is now considered strategic for many companies. Indeed, the recent interest in deep neural networks for image recognition has put a new wave of interest in neuromorphic engineering and the deep learning sector is now dominated by a few industrial giants (Nvidia, Google, Intel ...). They typically rely on General-Purpose Graphics Processing Units (GPGPU) for the learning process, and on specialized hardware for low-power inference on integrated targets, with proven energy efficiency. In this context, Google has developed the Tensor Processing Unit (TPU), which is an integrated circuit specific to the application of the AI accelerator (ASIC), developed specifically for machine learning in neural networks, in particular using of the TensorFlow software. The neural algorithms considered today are essentially derived from two domains still separated: machine learning (used for example for data analysis) and neuroscience (which search a modelling of the brain function in a more realistic way). Leading projects in neuromorphic engineering, which have brought these two fields together, have led to the creation of powerful brain-inspired chips, such as TrueNorth or SpiNNaker. These technologies work well in centralized IT farms but exceed the power consumption needs of on-board systems. The development of these applications is stagnating due to the limitations of current IT architectures. As a result, the computing paradigm has evolved towards dedicated accelerators in innovative architectures. The shift from compute to memory (data centric computing) is an emerging computing paradigm that has shown (academically) huge potential in terms of overall computing efficiency. This computing paradigm is also called 'in-memory computing' (CIM). The data-centric computing paradigm requires the design and implementation of dedicated hardware solutions for AI accelerators to cope with the large amount of data to be processed with minimal latency. Nevertheless, strict requirements on the non-functional characteristics of such implementations are necessary to have a usable and competitive product. More specifically, an AI accelerator core must meet the following needs: reusability and versatility, very low power consumption, high precision, low silicon area, while allowing parallel operations. The data-centric computing paradigm requires the design and implementation of dedicated hardware solutions for AI accelerators to cope with the large amount of data to be processed with minimal latency. Nevertheless, strict requirements on the non-functional characteristics of such implementations are necessary to have a usable and competitive product. More specifically, an AI accelerator core must meet the following needs: reusability and versatility, very low power consumption, high precision, low silicon area, while allowing parallel operations. Currently, all hardware AI accelerators in production (TPU, Nervana, DGX, Inferencia, etc.) or IPs available for integration into specialized circuits and systems use the conventional digital CMOS technology and design techniques. This is because this technology will still be the dominant hardware integration technology for a while, given its manufacturing cost and the control of industrial production, and the fact that several design tools exist for this. However, in order to reduce power consumption (at least 2x) and latency (at least 3x), a totally different approach needs to be explored. In this context, the in-memory computing paradigm is a promising technique that minimizes data transport, the main performance bottleneck and energy cost of most data-intensive applications. This thesis will take advantage of the proven advantages of CIM to design an AI accelerator with very low consumption and will revolve around the following axes: the description of the target application, the mapping of the selected AI application with the CIM solution target, parallelization of the solution and implementation of the CIM-based accelerator.