Optimisation d'architecture de réseaux de neurones binaires pour calculs proche mémoire

Optimization of binary neural network architecture for near-memory computing

• Auteur / Autrice : Haci-Yusuf Gundogan
• Direction : Henri-Pierre Charles
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 02/10/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : CEA Grenoble - LETI

Mots clés

Mots clés libres

Réseau de neurones

Recherche d'architecture

Optimisation bayesienne

Micro-compilation

Neural network

Neural Architecture Search

Bayesian Optimization

Micro-compilation

Résumé

L'intelligence proche capteur permet des gains x1000 en évitant la transmission de données, améliorant de fait la frugalité énergétique. Le paradigme du calcul proche mémoire (IMC) offre l'opportunité d'optimiser les architectures de traitement grâce à l'aide du déploiement de réseaux de neurones binarisés (poids et activations sur 1 bit). L'usage d'une arithmétique réduite impliquant des opérandes binaires (0/1, -1/+1, - 1/0/+1) a l'avantage de pouvoir exploiter au mieux l'IMC en combinant des fonctions logiques massivement parallélisées suivies d'un seuillage au titre de « produits scalaires binaires requantifiés ». Des briques matérielles développées au CEA exploitant ce type de co-conception algorithme/architecture permettent un gain énergétique de plusieurs ordres de grandeur (x100). Cette thèse s'appuyant sur ce concept de calcul vise à mettre au point un modèle de programmation innovant dédié, permettant une reconfiguration du réseau en fonction des besoins applicatifs. Pour profiter au mieux de la parallélisation des calculs et limiter les coûts d'accès mémoire tout en s'appuyant sur le graphe de calculs issu d'outils d'analyse de réseaux compatibles, le compilateur optimisera le séquençage des commandes et la répartition des calculs par rapport aux mémoires disponibles sur la cible matérielle. La complexité d'exécution estimée par ce μ-compilateur alimentera un algorithme de recherche automatique de topologie (Neural Architecture Search). Ce NAS aura pour tâche d'identifier la topologie compatible, offrant le meilleur compromis performance/conso. De cette façon, la versatilité de l'accélérateur IA basé sur des calculs en IMC sera décuplée de sorte à pouvoir répondre à des besoins applicatifs divers et variés. Les travaux réalisés dans cette thèse auront pour objectif de déboucher sur un environnement de programmation compatible avec une architecture matérielle développée par ailleurs, dans la continuité d'un projet Carnot (Smart-IMC). Alors que ce projet Carnot se concentre sur la conception d'une topologie de réseau figée, dédiée à une tâche d'inférence spatio-temporelle (typiquement de la reconnaissance de geste) ; l'objectif de cette thèse sera d'étendre les champs applicatifs possibles tout en s'appuyant sur les nœuds de calculs IMC existants. L'objectif final étant donc de pouvoir développer une solution d'accélérateur IA basé sur le paradigme de l'IMC et des réseaux de neurones binaires, davantage versatile en étendant ses cas d'usages. Le développement dans cette thèse d'une machine virtuelle permettant la simulation des briques matérielles reconfigurables servira d'outil en mesure d'estimer la complexité matérielle (consommation dynamique, latence) liée à l'exécution d'une certaine topologie de réseau sur ce type d'accélérateur en technologie IMC. Ceci permettra en outre d'alimenter un algorithme de recherche d'architecture automatique de réseau capable d'identifier les meilleures topologies pour une tâche d'inférence donnée. Par ailleurs, ce travail s'appuiera largement d'une part sur le savoir-faire développé au LIST avec la plateforme N2D2 pour une intégration du μ-compilateur dédié dans ce framework et d'autre part sur des travaux en cours réalisés dans le contexte d'une thèse CIFRE (co-encadré avec STMicroelectronics) portant sur la définition d'une méthodologie générique de recherche automatique de topologie (NAS). En outre, ce sujet s'intègre dans la continuité de projets en cours dont l'objectif est de concevoir des architectures de réseaux de neurones spécifiques à des tâches de réveil pour des capteurs d'image fonctionnant en mode always-on et dont la consommation est de l'ordre de 100μW. Les topologies de réseaux ciblées embarquent des éléments avancés de l'état de l'art (Conv2D, Conv3D, connections résiduelles, mécanismes d'attention et réseaux récurrents) à poids et activations fortement quantifiés. Par ailleurs, et du fait de l'émergence de topologies dont les couches sont fortement interconnectées, le domaine d'exploration des topologies devient de plus en plus large Les projets en cours exploitant ce type de topologies se limitent -pour le moment- des réseaux figés, or l'opportunité de définir une architecture matérielle (re)programmable offrirait la possibilité d'adresser une plus grande gamme applicative. Le sujet de cette thèse ouvrira donc la voie vers ce type de système davantage versatile du point de vue des cas d'usages, possiblement au-delà du traitement d'images/vidéo ; ce toujours sous une contrainte forte d'une consommation globale du système très faible.

Near-sensor intelligence enables x1000 gains by avoiding data transmission, thereby improving energy frugality. The paradigm of near-memory computation (IMC) offers the opportunity to optimize processing architectures with the deployment of binarized neural networks (1-bit weights and activations). The use of reduced arithmetic involving binary operands (0/1, -1/+1, -1/0/+1) has the advantage of maximizing IMC by combining massively parallel logical functions followed by binary re-quantized dot products. Hardware components developed at CEA exploiting this type of algorithm/architecture co-design provide an energy gain of several orders of magnitude (x100). This thesis, based on this calculation concept, aims to develop an innovative programming model dedicated to enabling network reconfiguration according to application needs. To make the most of parallel processing and reduce memory access costs while relying on the computation graph from compatible network analysis tools, the compiler will optimize command sequencing and distribution of calculations relative to the memory available on the target hardware. Execution complexity estimated by this μ-compiler will feed into an automatic network architecture search algorithm (Neural Architecture Search - NAS). This NAS will be tasked with identifying the compatible topology, offering the best performance/power consumption compromise. The ultimate goal is to develop an AI accelerator solution based on the IMC paradigm and binary neural networks, which is more versatile by extending its use cases. The development in this thesis of a virtual machine for simulating reconfigurable hardware blocks will serve as a tool to estimate the hardware complexity (dynamic consumption, latency) associated with executing a certain network topology on this type of IMC technology accelerator. This will also fuel an automatic network architecture search algorithm capable of identifying the best topologies for a given inference task. Furthermore, this work will rely extensively on the expertise developed at LIST with the N2D2 platform for integrating the dedicated μ-compiler into this framework, as well as on ongoing work conducted within the framework of a CIFRE thesis (co-supervised with STMicroelectronics) focusing on defining a generic methodology for automatic network architecture search (NAS). Additionally, this topic is part of ongoing projects with the objective of designing neural network architectures specific to wake-up tasks for image sensors operating in always-on mode, with power consumption on the order of 100μW. Targeted network topologies include advanced elements from the state of the art (Conv2D, Conv3D, residual connections, attention mechanisms, and recurrent networks) with highly quantified weights and activations. Moreover, due to the emergence of highly interconnected layer topologies, the exploration domain for topologies is becoming increasingly broad. Ongoing projects exploiting these types of topologies are currently limited to fixed networks, yet the opportunity to define a (re)programmable hardware architecture would offer the possibility of addressing a wider range of applications. Therefore, this thesis topic will pave the way for such a more versatile system in terms of use cases, possibly beyond image/video processing, all under the strong constraint of very low overall system power consumption.