Implémentation d'une architecture neuronale bio-inspirée distribuée sur FPGA

Implementation of a distributed bio-inspired neural architecture on FPGA

• Auteur / Autrice : Tarek Elouaret
• Direction : Lounis Kessal, Olivier Romain
• Type : Thèse de doctorat
• Discipline(s) : STIC (Sciences et Technologies de l'Information et de la Communication) - ED EM2PSI
• Date : Soutenance le 13/06/2023
• Etablissement(s) : CY Cergy Paris Université
• Ecole(s) doctorale(s) : Ecole doctorale Économie, Management, Mathématiques , Physique et Sciences Informatiques (EM2PSI)
• Partenaire(s) de recherche : Laboratoire : Equipes Traitement de l'Information et Systèmes (Cergy-Pontoise, Val d'Oise) - ETIS- CY CERGY
• Jury : Président / Présidente : Virginie Fresse
• Jury : Examinateurs / Examinatrices : Lounis Kessal, Olivier Romain, Stéphane Zuckerman, Olivier Orfila, Andrea Pinna
• Jury : Rapporteurs / Rapporteuses : Jean-Christophe Prévotet, Catherine Dezan

Mots clés

Mots clés libres

Architecture neuronale bio-Inspirée

Taches logicielles et matérielles

Fpga

Distribution logicielles et materielles

Bio-Inspired neural architecture

Software and hardware tasks

Fpga

Distributed on multi-FPGAs

Résumé

Les véhicules autonomes utilisent des mécanismes d'auto-localisation efficaces pour se déplacer sans l'intervention humaine. Les caméras sont les capteurs les plus courants pour effectuer cette tâche : elles fournissent des données riches à très faible coût.L'intensité calculatoire de la localisation basé sur caméra varie en fonction de la complexité de l'environnement entourant le véhicule. Ce qui influe sur la tâche en temps réel à exécuter et sur le moment où elle doit être exécutée. Le traitement d'images en temps réel dans ce contexte exige un traitement rapide, ainsi que la capacité de stocker suffisamment d'informations pour prendre des décisions de manière économe en énergie, notamment dans le cas des véhicules électriques.Par conséquent, l'utilisation des FPGA est une réponse explicite à des nombreux problèmes soulevés par une telle application, afin de faciliter le prototypage de l'application et d'estimer les économies d'énergie appropriées. Nous présentons ici une solution distribuée originale pour mettre en œuvre un grand modèle de localisation visuelle bio-inspiré. Le projet de travail pour notre collaboration est composé et structuré comme suivants : (1) une IP de traitement d'image qui produit les informations de pixels par chaque repère visuel détecté dans chaque image capturée ; (2) une implémentation de N-LOC, une architecture neuronale bio-inspirée sur une carte FPGA ; (3) une version distribuée de N-LOC et son évaluation sur un seul FPGA, ainsi qu'une conception destinée à être utilisée sur une plate-forme multi-FPGA avec des émetteurs-récepteurs gigabit GTX pour relier les différents substrats.La comparaison avec une solution purement logicielle montre que notre mise en œuvre matérielle de l'IP permet d'obtenir des temps de latence jusqu'à 11× fois inférieurs, un débit (images/seconde) 14× fois supérieur à celui de la mise en œuvre logicielle de référence, et une empreinte énergétique aussi faible que 2,141 W pour l'ensemble du système, soit jusqu'à 30× fois moins qu'un système informatique haut de gamme ordinaire effectuant le même calcul en moyenne.

Autonomous vehicles heavily rely on efficient self-localisation mechanisms. Cameras are the most common kind of sensors to perform this task: they provide a rich input at very low cost. The computational intensity of visual localisation varies depending on the complexity of the environment surrounding the vehicle, which influences which real-time task should run, and when. Real-time image processing in this context requires fast processing, as well as the ability to store enough information to take decisions in an energy-efficient manner, especially in the case of electric vehicles. Hence, leveraging FPGAs is a natural answer to many issues raised by such an application, in order to facilitate application prototyping and estimate the proper energy savings. We introduce a distributed solution to implement a large bio-inspired visual localisation model. The proposed workflow of our project is com- prised of the following: (1) an implementation of N-LOC, a bio-inspired neural architecture on FPGA board; (2) a distributed version of N-LOC and its evaluation over a single FPGA, as well as a design to be used on a multi-FPGA platform with gigabit transceivers GTX to link the various substrates.Comparisons with a pure software solution showthat our hardware-based IP implementation yields up to 9 imes lower latencytimes, 7 imes higher throughput (frames/second) than the reference softwareimplementation, and power footprint as low as 2.741W for the whole system,ie, up to 5.5-6 imes less than what Nvidia Jetson TX2 consumes on average.