Architectures pour assurer la sureté de fonctionnement des systèmes à base de réseaux de neurones

Architectures to Ensure the Functional Safety of Neural Network based Systems

• Auteur / Autrice : Stéphane Burel
• Direction : Lorena Anghel
• Type : Thèse de doctorat
• Discipline(s) : Nanoélectronique et nanotechnologie
• Date : Soutenance le 09/12/2022
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'électronique et de technologie de l'information (Grenoble ; 1967-....)
• Jury : Président / Présidente : Panagiota Morfouli
• Jury : Examinateurs / Examinatrices : Arnaud Virazel, Kévin Martin
• Jury : Rapporteur / Rapporteuse : Alberto Bosio, Haralampos Stratigopoulos

Mots clés

Mots clés contrôlés

Apprentissage profond

Réseaux neuronaux (informatique)

Intelligence artificielle

Mots clés libres

Testabilité

Intelligence artificielle

Dnn

Cnn

Dnn

Cnn

Testability

Artificial intelligence

Résumé

Les réseaux de neurones sont utilisés dans des systèmes informatiques critiques tels que ceux utilisés pour la conduite autonome. Ces systèmes doivent respecter les normes de sûreté de fonctionnement ; il est donc essentiel d’assurer leur bon fonctionnement même en présence de fautes matérielles. Le même réseau formel peut être réalisé sur différentes plateformes matérielles (CPU, FPGA, etc), selon les besoins en performance. La fiabilité des systèmes numériques classiques (microcontrôleurs, RAM, etc) est déjà bien étudiée mais les approches de ce domaine ne sont pas toujours adaptées aux réseaux de neurones. L’objectif de cette thèse est de trouver des nouvelles approches, à faible coût, pour améliorer la tolérance aux fautes des réseaux de neurones. Dans un premier temps, un résumé des travaux existants dans le domaine est présenté. Ensuite, la première contribution scientifique se concentre sur une étude de la robustesse des architectures systoliques existantes afin de proposer un nouvel accélérateur tolérant aux fautes grâce à des tests en ligne. Ensuite deux autres techniques de détection de fautes sont présentées : une qui se concentre sur les mémoires des réseaux de neurones et une autre qui détecte des anomalies statistiques induites par les fautes. Ces méthodes de détection de fautes sont combinées avec un système de masquage de fautes préexistant. Ces approches sont étudiées sur plusieurs cas d’étude, et prises dans leur globalité, elles ouvrent la voie vers la réalisation d’un accélérateur matériel pour les réseaux de neurones, tolérant aux fautes avec un surcout minimal.

Neural networks are increasingly used in mission critical systems such as those used in autonomous vehicles. These systems must comply with functional safety standards; therefore, it is essential to ensure they operate correctly in the presence of hardware faults. The same formal neural network can be implemented on different hardware platforms (CPUs, FPGAs, etc.), depending on the required level of performance. The reliability of classical digital circuits (micro-controllers, RAMs, etc.) has been well studied, but the techniques used in this domain are not always well adapted for neural networks. The objective in this thesis is to find new, low-cost, techniques to improve the reliability of neural networks. The thesis starts with an overview of the existing works in this field. The first scientific contribution is an analysis of the robustness of systolic accelerators leading to a proposal for a new architecture that achieves fault tolerance using on-line test. Next, two fault detection techniques are presented: one that focuses on the memory and the other that detects statistical anomalies caused by faults. These approaches are studied using several case studies, and taken together, they pave the way for the development of a fault tolerant neural network accelerator with minimal hardware overhead.