MODÈLES NEURONAUX DE QUANTIFICATION VECTORIELLE, APPRENTISSAGE CONTINU ET DISTRIBUTIONS NON-STATIONNAIRES

NEURAL MODELS FOR VECTOR QUANTIZATION, CONTINUAL LEARNING AND NON-STATIONARY DISTRIBUTIONS

• Auteur / Autrice : Nasr allah Aghelias
• Direction : Bernard Girau, Hervé Frezza-buet
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 18/11/2024
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES
• Partenaire(s) de recherche : Laboratoire : LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
• Partenaire(s) de recherche : Equipe de recherche : BISCUIT

Mots clés

Mots clés libres

Quantification vectorielle

Cartes auto-organisées

Réseaux de neurones

Apprentissage continu

Neural networks

Vector quantization

Self-organizing maps

Continual learning

Résumé

Ce sujet fait partie du projet ANR SORLAHNA, dont les deux objectifs sont : 1) concevoir une méthodologie d'implantation matérielle suffisamment flexible pour des architectures neuronales versatiles de quantification vectorielle (VQ) topologique, sur la base d'un NoC (network on chip) capable d'instancier une topologie virtuelle dynamique sur un circuit programmable, et 2) définir des modèles de VQ topologique pour le recueil dynamique des données issues d'un réseau distribué de capteurs et destinées à un apprentissage machine. C'est sur ce second aspect que porte cette thèse. Dans une première phase, l'étudiant analysera les différents algorithmes neuronaux de VQ topologique existants (SOM, NG), ainsi que leurs différentes variantes proposées en lien avec des données non stationnaires ou d'éventuelles implantations matérielles (DSOM, CSOM, NP-SOM, PSOM, GNG, GWR, etc.). En interaction avec différents chercheurs et étudiants impliqués dans le projet Sorlahna, l'étudiant analysera le potentiel des méthodes de quantification vectorielle à traiter des problèmes de CL, en définissant notamment une première série de critères pour qualifier et quantifier les performances des algorithmes de VQ confrontés à un problème de CL (sur la base d'un ensemble prédéfini de situations artificielles contrôlées d'apprentissage continu). La plupart des travaux actuels sur le CL considèrent un problème dont la statistique est stationnaire, dont on pourrait extraire des échantillons de façon i.i.d, mais pour lesquels ces échantillons sont fournis, en pratique et pour des raisons techniques, de façon non i.i.d. L'exemple typique est celui d'une classification où l'on fournit au préalable les échantillons de certaines classes uniquement, puis les échantillons d'autres classes dans un second temps, alors que le but est bien de traiter un problème de classification sur toutes ces classes. Nos travaux visent à étendre le problème du CL à des cas où la statistique est intrinsèquement non-stationnaire, ce qui amène à considérer des problèmes dont la formalisation elle-même inclut une dimension temporelle. Les situations et critères issus de cette première phase devront donc être représentatifs de problèmes où le caractère non i.i.d. des données d'apprentissage est aussi bien dû au processus d'échantillonnage des données qu'à la distribution sous-jacente elle-même. Dans une seconde phase, l'étudiant étudiera les méthodes et propriétés permettant de (ré)générer des données représentatives du problème à partir des seules informations issues de la VQ topologique. Cette question dépend directement de la capacité des modèles de VQ à 'bien' modéliser la densité de probabilité de l'espace d'entrée, mais elle devient plus complexe dans un contexte de CL et d'évolution dynamique de la distribution des données. La validation de la capacité (ré)générative de nos algorithmes de VQ topologique ouvrira la voie à la troisième phase des travaux, dans laquelle des protocoles de transmission dynamique des informations de VQ seront mis au point afin d'optimiser la récolte de données issues de capteurs physiquement distribués, lorsque l'information recherchée n'est pas la connaissance des valeurs exactes perçues, mais la connaissance de leur distribution, comme cela peut être le cas lors d'un apprentissage machine. Par ailleurs, la nature topologique de la VQ réalisée par nos modèles pourra être exploitée pour optimiser la transmission des informations décrivant les données perçues. En résumé, cette thèse vise à généraliser le concept du Continual Learning au cas des distributions non-stationnaires pour les algorithmes de quantification vectorielle avec préservation de topologie, dans un contexte où cette généralisation doit être compatible avec une implémentation matérielle de ces algorithmes.

This subject is part of the ANR SORLAHNA project, whose two objectives are: 1) to design a sufficiently flexible hardware implementation methodology for versatile neural architectures of topological vector quantization (VQ), based on a NoC (network on chip ) able to instantiate a dynamic virtual topology on a programmable circuit, and 2) to define topological VQ models for the dynamic acquisition of data recorded from a distributed network of sensors and intended for machine learning. This thesis focuses on this second aspect. In a first phase, the student will analyze the different existing topological VQ neural algorithms (SOM, NG), as well as their different variants proposed for non-stationary data or possible hardware implementations (DSOM, CSOM, NP-SOM, PSOM, GNG, GWR, etc.). In interaction with different researchers and students involved in the Sorlahna project, the student will analyze how vector quantification methods can deal with CL problems, in particular by defining a first series of criteria to qualify and quantify the performances of the VQ algorithms confronted to a CL problem (based on a predefined set of controlled artificial situations for continuous learning). Most current work on CL considers a problem whose statistics are stationary, from which samples could be extracted in an i.i.d manner, but for which these samples are provided in a non-i.i.d manner, for practical or technical reasons,. The typical example is that of a classification where we first provide samples from certain classes only, then samples from other classes in a second step, whereas the goal is to deal with a classification problem on all these classes. Our work aims to extend the CL problem to cases where statistics are intrinsically non-stationary, which leads to consider problems whose formalization itself includes a temporal dimension. The situations and criteria resulting from this first phase must therefore be representative of problems where the non-i.i.d. character of training data is due to both the data sampling process and the underlying distribution itself. In a second phase, the student will study the methods and properties that make it possible to (re)generate data only from the information encoded in the topological VQ, such data having to be statistically representative of the problem. This question directly depends on the ability of VQ models to “well” model the probability density of the input space, but it becomes more complex in a context of CL and dynamic evolution of the data distribution. Validation of the (re)generative capacity of our topological VQ algorithms will pave the way for the third phase of the work. In this phase, protocols for the dynamic transmission of VQ information will be defined in order to optimize data acquisition from physically distributed sensors, when the information that is sought is not the knowledge of the exact values perceived, but the knowledge of their distribution, as it can be the case during machine learning tasks. Furthermore, the topological nature of the VQ performed by our models can be exploited to optimize the transmission of information describing the perceived data. In summary, this thesis aims to generalize the concept of Continual Learning to the case of non-stationary distributions for vector quantization algorithms with topology preservation, in a context where this generalization must be compatible with a hardware implementation of these algorithms.