ARCHITECTURES MATÉRIELLES GENÉRIQUES POUR LES RÉSEAUX NEURONAUX DYNAMIQUES ET ÉVOLUTIFS APPLIQUÉS À L'APPRENTISSAGE CONTINU

Generic HW architecture(s) for dynamic andgrowing/decreasing neural graphs applied tocontinual learning

• Auteur / Autrice : Florent Derue
• Direction : Slavisa Jovanovic, Hassan Rabah
• Type : Projet de thèse
• Discipline(s) : Systèmes électroniques
• Date : Inscription en doctorat le 23/10/2023
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : IJL - INSTITUT JEAN LAMOUR

Mots clés

Mots clés libres

Architecture matérielle

Intelligence artificielle

Electronique numérique

Verilog/VHDL/SystemC

Fpga/asic

Réseaux de neurones

HW architecture

Ai

Digital design

Verilog/VHDL/SystemC

Fpga/asic

Neural networks

Résumé

Face à la quantité exponentiellement croissante des données numériques recueillies et stockées dans tous les domaines, le prétraitement, la catégorisation et la visualisation des données jouent un rôle de plus en plus essentiel. Si l'apprentissage profond (Deep Learning) actuellement en plein essor offre de multiples possibilités pour répondre à une partie de ces besoins, l'apprentissage non supervisé est de plus en plus mis en avant pour en dépasser certaines limites. En effet, l'apprentissage profond repose sur l'ajustement d'un modèle paramétrique complexe à un ensemble gigantesque de données, fournies lors de cette phase d'ajustement. Le modèle une fois ajusté est alors déployé dans les applications réelles, partant du principe que la statistique des données reste alors la même que celle qui a servi à la phase d'apprentissage. Toutefois, certains contextes fournissent des données non-stationnaires, dont la statistique dérive peu à peu au cours du temps. Disposer d'un modèle paramétrique de ces données suppose que ce modèle puisse dériver avec elles. Les modèles supportant l'apprentissage continu ou incrémental doivent ainsi être privilégiés pour traiter dynamiquement de telles données non stationnaires, notamment rencontrées par de nombreux systèmes embarqués (internet des objets - IoT, edge computing). Parmi les modèles envisageables, nous nous intéressons aux modèles basés sur la quantification vectorielle topographique (cartes auto-organisatrices, réseaux incrémentaux). La simplicité algorithmique et la nature distribuée des calculs de tels modèles permet d'envisager une implémentation matérielle de ces algorithmes, qui prend tout son sens dans le contexte de systèmes embarqués. Le projet que nous proposons vise donc à combiner des compétences complémentaires en informatique et électronique pour co-concevoir des algorithmes modernes de quantification vectorielle topographique de sorte à intégrer dès leur conception la double exigence d'une adéquation avec l'apprentissage en ligne de données non-stationnaires et d'une compatibilité avec une implémentation matérielle réalisable et efficace, notamment à l'aide de circuits reconfigurables qui autorisent une flexibilité impossible sur les circuits ASIC. Cette approche de co-conception conduira à proposer des architectures matérielles génériques basées sur des unités de traitement neuronales (NPU) innovantes, hautement configurables et évolutives, qui aideront à réduire la haute dimensionalité des flux de données incessants générés par les infrastructures IoT, ou encore à construire des couches optimisées pour des modèles neuronaux hybrides visant un apprentissage continu.

The preprocessing, categorization and visualization of data play an increasingly essential role with the exponentially increasing amount of digital data collected and stored in all fields. If the currently booming field of deep learning (DL) offers multiple possibilities to meet some of these needs, unsupervised learning is increasingly put forward to overcome some of its limits. Indeed, DL is based on the training of a complex parametric model to a huge set of data, provided during this training phase. The model, once trained, is then deployed in real applications, assuming that the statistics of the data then remain the same as those used in the learning phase. However, some contexts provide non-stationary data, whose statistics gradually drift over time. Having a parametric model of these data supposes that this model can derive with them. Models supporting continual or incremental learning must therefore be favoured to dynamically process such non-stationary data, in particular encountered by many embedded systems (internet of things - IoT, edge computing). Among the possible models, we are interested in models based on topographic vector quantization (self-organizing maps, incremental networks). The algorithmic simplicity and the distributed nature of the calculations of such models makes it possible to consider a hardware implementation of these algorithms, which takes on its full meaning in the context of embedded systems. The project that we propose therefore aims to combine complementary skills in computer science and electronics to co-design modern topographic vector quantization algorithms so as to integrate from their design the double requirement of an adequacy with online learning of non-stationary data, and a compatibility with a feasible and efficient hardware implementation, in particular using reconfigurable circuits allowing a flexibility that is unreachable on ASIC circuits. This co-design approach will lead to proposing generic hardware architectures based on innovative, highly configurable and scalable neural processing units (NPUs), which will help reduce the high dimensionality of the permanent data streams generated by IoT infrastructures, or even help building optimized layers for hybrid neural models aimed at continual learning.