Modélisation et exploration d'architectures neuromorphiques pour les systèmes embarqués haute-performance

Modeling and exploration of neuromorphic architectures for high-performance embedded systems

• Auteur / Autrice : Edgar Lemaire
• Direction : Benoît Miramond, Sébastien Bilavarn
• Type : Thèse de doctorat
• Discipline(s) : Électronique
• Date : Soutenance le 08/03/2022
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'électronique, antennes et télécommunications (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Jean Martinet
• Jury : Examinateurs / Examinatrices : Benoît Miramond, Sébastien Bilavarn, Jean Martinet, Simon Thorpe, Gilles Sassatelli, Olivier Bichler, Philippe Millet, Hadi Saoud
• Jury : Rapporteurs / Rapporteuses : Simon Thorpe, Gilles Sassatelli

Mots clés

Mots clés contrôlés

Réseaux logiques programmables par l'utilisateur

Systèmes embarqués (informatique)

Bioinformatique

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones artificiels

Réseaux de neurones impulsionnels

Électronique numérique

Architecture matérielle

Modélisation

Consommation énergétique

Systèmes embarqués

Informatique en périphérie

Électronique neuromorphique

FPGA

Artificial neural networks

Spiking neural networks

Digital electronics

Hardware architecture

Modeling

Energy consumption

Embedded systems

Edge computing

Neuromorphic electronics

FPGA

Résumé

Les réseaux de neurones profonds ont permis des progrès sans précédent dans le domaine del’apprentissage automatique. En imitant le calcul parallèle et distribué du cerveau, de tels algorithmes permettant en effet d’émuler n’importe quelle fonction, jusqu’aux plus complexes. Leursapplications vont de la vision par ordinateur (classification, segmentation, détection...), au traite-ment du langage naturel en passant par la prédiction de séries temporelles. Dans tous cesdomaines, les réseaux de neurones profonds n’ont cessé de repousser les limites de l’intelligenceartificielle. D’autre part, nous assistons par ailleurs à l’émergence progressive de l’internet desobjets (Internet of Things, IoT). Ces systèmes embarqués connectés ont un besoin grandissanten capacité de traitement, et les réseaux de neurones profonds semblent alors tout indiqués pouraccomplir cette tâche. Qu’il s’agisse de navigation autonome dans des drones ou dans des voituressans pilote, de reconnaissance faciale dans les téléphones portables ou plus généralement de traite-ment périphérique (Edge Computing) dans les réseaux de capteurs, les applications embarquéesde l’apprentissage profond sont déjà nombreuses. Cependant, les algorithmes neuronaux sontcomplexes et particulièrement gourmands en ressources de calcul. En matière de consommationénergétique, ces derniers semblent en effet incompatibles avec la nature contrainte des systèmesd’IoT. Dans cette optique, l’approche de l’Électronique Neuromorphique consiste à s’inspirer ducerveau biologique pour en mimer l’efficacité énergétique. En effet, il s’agit du modèle de processeurneuronal le plus abouti à notre connaissance, affichant une consommation d’à peine 20 watts. Àtravers l’utilisation de modèles de neurones bio-inspirés proposés par les neurosciences computa-tionnelles, l’approche Neuromorphique a pour objectif de réduire la consommation énergétique del’intelligence artificielle embarquée. Cette approche repose sur des arguments prometteurs: la simplicité du calcul impulsionnel, l’aspect binaire des synapses et l’encodage ”épars” (sparse). Cependant, la littérature scientifique spécialisée semble manquer de comparaison étendue de l’impactdu domaine de codage sur l’efficacité énergétique des accélérateurs neuronaux. De ce fait, lacontribution principale de cette thèse est une comparaison détaillée des domaines de codage impulsionnels et formels sur FPGA. Cette étude implique plusieurs cas d’usage et différents niveauxde parallélisme. Ce volet de la thèse a été mené a bien au moyen du développement d’un estimateur de ressources et d’énergie pour les architectures neuronales sur FPGA. Cet outil permetd’accélérer l’exploration de l’espace des applications. D’autre part, nous proposons de quantifierles gains potentiels au moyen d’une métrique et d’un modèle de haut niveau: le ratio d’activitésynaptique. Cette métrique permet d’évaluer rapidement les gains potentiels d’énergies offerts parle domaine impulsionnel pour une application donnée. Nous l’utilisons notamment pour trouverde nouvelles familles de réseaux impulsionnels prometteuses en termes énergétiques. Enfin, nousmettons à profit les enseignements de cette étude pour proposer l’accélération neuronale hybride,une architecture mêlant les deux domaines d’encodage (impulsionnel et formel). L’architecture aété embarquée à bord du satellite OPS-SAT (lancé en Décembre 2019) et testée en vol. Ce faisant,il s’agit de la toute première architecture neuromorphique fonctionnelle dans l’espace.

Deep Neural Networks have recently pushed unprecedented progress in the field of Machine Learning. Those algorithms mimic the parallel and distributed computation paradigm of the biologicalbrain to fit any desired functions, including the most complex ones. The range of applications forDeep Learning is very wide: from computer vision (classification, segmentation, detection...) tonatural language processing and time-series prediction. Those domains were all greatly impactedby Deep Neural Networks, since they are continuously pushing back the limits of Artificial Intelligence. On the other hand, the emergence of the Internet of Things in recent years have openeda brand new range of applications for Deep Learning. Indeed, the processing abilities of thosealgorithms is particularly appealing for such autonomous systems like IoT. From navigation andobstacle detection in drones and self-driving cars, to face recognition in smartphones, or moregenerally for Edge Computing in networks of sensors, Deep Learning seems all indicated for thetask. However, Deep Learning models are very complex and energy-intensive. In terms of energyconsumption, they appear not to comply with the highly-constrained nature of embedded systems.To cope with this issue, the Neuromorphic Computing approach consists in taking inspiration fromthe biological brain. Our brain is indeed the most efficient neural processor anyone has ever heardof, with only 20W of average power consumption. By using bio-inspired models from Computational Neurosciences, the Neuromorphic approach thus aims in reproducing the energy efficiency ofthe brain. This choice is backed by several objective assessments, like the hardware-friendliness ofthe spiking synaptic operation, the sparse computation or the lightweight communication betweenneurons. However, the literature seems to lack broad and fair comparisons of the impact on neuralcoding on the energy consumption of hardware neural networks. Therefore, the first contributionof this work is a fair and extensive comparison between spiking and formal coding domains onFPGA. The study also takes low-level implementation into account, like parallelism. It was madepossible by the development of an hardware-footprint estimator for hardware neural networks onFPGA, which drastically facilitates and accelerates the design and applications space exploration.Moreover, we propose an high-level metric and energy model to evaluate the energy consumptionof neuromorphic accelerators. This model named Synaptic Activity Ratio (SAR) is based on thenumber of spikes per synapse and the ratio of energy consumption between spiking and formalsynaptic operations. The model is indeed able to determine whether a given CNN model (testedon a given dataset) could bring energy savings on FPGA. This contribution also facilitates theexploration of applications relatively to neural coding domains. For instance, we also use thistechnique to find novel SNN representations which seem better adapted to hardware accelerationthan the basic rate-coded conversion approach. Finally, we use the knowledge acquired from thisstudy to introduce the novel concept of neural coding hybridization. We propose an hardwarearchitecture which uses both formal domain for feature-extraction and spiking domain for classification. The architecture was embedded on-board OPS-SAT satellite (launched Dec. 2019) forin-flight test, being the world first neuromorphic architecture in space.