Étude de l'accélération matérielle reconfigurable pour les réseaux de neurones embarqués faible consommation

Investigation of reconfigurable hardware acceleration for low-power embedded neural networks

• Auteur / Autrice : Zhuoer Li
• Direction : Sébastien Bilavarn
• Type : Thèse de doctorat
• Discipline(s) : Électronique
• Date : Soutenance le 20/06/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'électronique, antennes et télécommunications (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Benoît Miramond
• Jury : Examinateurs / Examinatrices : Sébastien Bilavarn, Benoît Miramond, Yannick Le Moullec, Guy Gogniat, Emmanuel Casseau
• Jury : Rapporteurs / Rapporteuses : Yannick Le Moullec, Guy Gogniat

Mots clés

Mots clés contrôlés

Réseaux logiques programmables par l'utilisateur

Intelligence artificielle

Économies d'énergie

Systèmes embarqués (informatique)

Réseaux neuronaux (informatique)

Mots clés libres

Intelligence artificielle

Accélérateur de réseau de neurones

FPGA

Reconfiguration partielle

Efficacité énergétique

Synthèse de haut niveau

Artificial intelligence

Neural network accelerator

FPGA

Partial reconfiguration

Energy efficiency

High-level synthesis

Résumé

L'évolution des applications de l'intelligence artificielle (IA) mène à une augmentation de la demande pour le déploiement de réseaux de neurones sur des dispositifs autonomes en raison de l'expansion de l'IA dans des secteurs variés, tels que la santé et l'automobile. Cette décentralisation des calculs (Edge AI) présente des défis, notamment en termes de performances et de consommation d'énergie. Avec la complexité croissante des modèles de réseaux neuronaux pour accomplir des tâches de plus en plus sophistiquées, optimiser l'efficacité énergétique tout en maintenant les fonctionnalités avancées des réseaux de neurones profonds devient essentiel, surtout pour les systèmes mobiles et embarqués où la source d'énergie est limitée. Malgré le besoin pressant, les efforts ciblant la réduction de consommation des réseaux de neurones restent insuffisants. Les méthodes traditionnelles n'ont pas entièrement abordé les contraintes de puissance et de performance des environnements de calcul embarqués.Cette thèse apporte une contribution unique en proposant des méthodologies pour le déploiement de réseaux de neurones à très faible consommation et haute efficacité énergétique sur des composants programmables FPGA, reconnus pour leur rapport performance-puissance avantageux et leur adaptabilité en tant qu'accélérateurs matériels. Ce travail met en œuvre diverses topologies de CNN sur des plateformes FPGA à travers des méthodes de synthèse de haut niveau (HLS) et une quantification. Cet travail se penche ensuite sur une comparaison détaillée des performances et de la consommation des réseaux de neurones artificiels (ANN) et de réseaux de neurones à impulsions (SNN) correspondants implémentés sur des plateformes FPGA. Cette comparaison révèle une inefficacité inattendue des implémentations de SNNs sur FPGA par rapport à leurs équivalents ANN.Sur la base de ces résultats, cette thèse continue d'explorer des méthodes d'optimisation énergétique pour l'inférence de réseaux de neurones profonds sur FPGA en examinant le potentiel de la Reconfiguration Partielle (PR). Ce travail s'appuie sur une méthodologie spécifique à la reconfiguration partielle basée sur une coopération d'approches et d'outils de synthèse, et évalue l'efficacité énergétique des solutions PR et statiques sur plusieurs benchmarks CNN de complexités différentes. Les résultats indiquent qu'en utilisant des mécanismes de reconfiguration optimisés, le gain en efficacité énergétique est d'environ un facteur de deux lors de l'application de la reconfiguration partielle au niveau couche des CNNs, et présente une tendance à la hausse à mesure que la taille du réseau augmente. Ce résultat constitue l'une des toutes premières contributions dans l'étude de l’utilisation de la reconfiguration partielle pour l'accélération matérielle d’algorithmes d'IA. La recherche dans ce domaine est encore à un stade précoce, mais elle montre déjà des résultats très prometteurs pour minimiser les ressources, en particulier au niveau mémoire locale.Par ailleurs, cette thèse contribue à une bibliothèque ouverte d'accélérateurs de réseaux de neurones avec un CNN 8 couches pour la reconnaissance de panneaux de signalisation (GTSRB), et un Residual Network ResNet-18 (72 couches dont 18 profondes) qui seront disponibles en ligne ultérieurement.

The Artificial Intelligence (AI) application landscape is undergoing a significant transformation as AI continues to permeate various fields, from healthcare to the automotive industry, leading to a surge in the demand for deploying neural networks directly on edge devices. This shift towards edge computing presents a set of challenges and requirements, particularly in terms of latency and energy efficiency. However, as deep learning evolves to address increasingly complex tasks, the complexity and depth of neural network models have also grown. Given that edge devices often operate in environments where energy consumption is limited, it becomes crucial to maximize energy efficiency while ensuring the complex functionalities of deep neural networks. Despite the evident demand, there remains a relative lack of efforts for strategies specifically aimed at reducing the energy cost of neural networks.This thesis aims to address these questions by investigating and evaluating methodologies for low-power neural network implementations on Field-Programmable Gate Arrays (FPGAs), known for their advantageous performance-to-power ratio and adaptability. This work implements various CNN topologies on FPGA platforms using High-Level Synthesis (HLS) methods in cooperation with other existing design and exploration approaches. This thesis then delves into a detailed comparison of the performance and energy efficiency of Artificial Neural Networks (ANNs) and their corresponding Spiking Neural Networks (SNNs) implemented on FPGA platforms. This comparison reveals an unexpected inefficiency in the FPGA implementations of SNNs compared to their equivalent ANNs.Building on these conclusions, this work then continues to explore power optimization methods for deep neural network inference on FPGAs, examining the potential of Partial Reconfiguration (PR) in this regard. The study investigates the use of a full PR methodology based on a cooperation of relevant system-level methodologies and synthesis tools to evaluate the energy efficiency of PR solutions and static solutions on several CNN benchmarks of different complexities. The results indicate that under the main condition of using an optimal reconfiguration control scheme, energy gains can reach a factor of two when PR is applied at the CNN layer level, and savings increase as the network size grows.This result stands as one of the pioneering demonstrations of the great potential of PR for Deep Learning applications on FPGAs. Research in this domain is still at an early stage, yet it already exhibits large promise for minimizing the size of programmable logic, particularly in terms of memory requirements.Additionally, this thesis contributes to an open neural network acceleration library with a compact 8-layer CNN for traffic sign recognition and a ResNet-18, with the relevant FPGA IPs to be made available online later.