CxSOM : vers une architecture non hiérarchique de cartes auto-organisatrices : Méthode et outils d’analyse

CxSOM : towards a non-hierarchical architecture of self-organizing maps : Analysis techniques and tools

• Auteur / Autrice : Noémie Gonnier
• Direction : Hervé Frezza-Buet, Yann Boniface
• Type : Thèse de doctorat
• Discipline(s) : Informatique (STIC)
• Date : Soutenance le 13/06/2023
• Etablissement(s) : CentraleSupélec
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Frédéric Alexandre
• Jury : Examinateurs / Examinatrices : Hervé Frezza-Buet, Yann Boniface, Frédéric Alexandre, Madalina Olteanu, Lydia Boudjeloud-Assala, Mathias Quoy
• Jury : Rapporteur / Rapporteuse : Frédéric Alexandre, Madalina Olteanu

Mots clés

Mots clés contrôlés

Coordination modulaire (construction)

Cartes auto-organisatrices

Mots clés libres

Cartes auto-organisatrices

Architecture modulaire

Mécanismes d’apprentissage

Bio- inspiration

Self-organizing maps

Modular architecture

Learning mecanisms

Bio-inspiration

Résumé

Le cortex cérébral apparaît dans de nombreux travaux comme une architecture de modules autonomes, les aires corticales, connectées rétroactivement. Elles échangent des informations sensorielles ou de plus haut niveau et implémentent des tâches d’apprentissage extrêmement sophistiquées. Cette notion bio-inspirée d’architecture modulaire présente un intérêt computationnel dans la recherche de nouveaux paradigmes d’apprentissage. Il s’agit en effet de systèmes complexes, propices à faire émerger des mécanismes d’apprentissage dus à l’interaction entre les modules. Partant de cette inspiration biologique, cette thèse propose d’étudier la création d’architecture modulaire non hiérarchique de cartes auto-organisatrices. Les cartes auto-organisatrices sont un algorithme d’apprentissage non-supervisé permettant de représenter de façon ordonnée et en faible dimension un espace d’entrées quelconques. Cet algorithme s’inspire de l’organisation présente dans les aires corticales. Par la simplicité de leurs règles de mise à jour et leur capacité de représenter chaque entrée par une position, les cartes nous apparaissent comme des candidates naturelles à la conception d’une architecture modulaire. Nous développons et étudions dans ces travaux un modèle modifié de cartes auto-organisatrices permettant de les associer au sein d’une architecture non hiérarchique. Nous appelons ce modèle CxSOM, pour Consensus Driven Multi-SOM. Cette thèse constitue ensuite une analyse expérimentale des mécanismes d’organisation et d’apprentissage émergeant de l’association des modules. Nous nous concentrons sur la mise en évidence de mécanismes de mémoire associative entre modalités ; l’objectif est de pouvoir apprendre une représentation de plusieurs espaces d’entrées au sein de l’architecture et d’extraire des relations existant entre ces entrées. Pour analyser ces mécanismes, nous mettons l’accent sur une méthode de représentation des réponses de l’architecture, et proposons des outils de visualisation et de mesure de l’apprentissage. Grâce à ce cadre expérimental, nous avons pu mettre en lumière des comportements d’apprentissage associatifs spécifiques à ces architectures et des perspectives d’étude possibles. En particulier, le modèle présente un comportement de prédiction d’entrée, rendu possible par les interactions entre les modules de l’architecture. La proposition du modèle CxSOM et l’analyse des comportements sur des architectures simples nous permettent d’élaborer une base de travail, vers la conception d’architectures non hiérarchiques comportant de nombreuses cartes.

The cerebral cortex appears in many models as an architecture of autonomous modules connected retroactively, exchanging sensory and higher-level information and implementing ex- tremely sophisticated learning tasks. This bio-inspired concept of a modular architecture has also a computational interest in the search for new learning paradigms, especially for the design of autonomous learning networks. They are indeed complex systems, which can conduct to the emergence of learning mechanisms due to the interaction between the modules. This thesis cre- ates a non-hierarchical architecture model of self-organizing maps. Self-organizing maps are an unsupervised learning algorithm that creates an ordered representation of any input space onto a low-dimensional space, and is inspired by the organization present in cortical areas. Due to the simplicity of their update rules and their ability to map an input to a position, they appear to us as natural candidates for the design of a modular architecture. In this work, we introduce a modified self-organizing map model and an interface method for associating them within a non-hierarchical architecture. We call this model CxSOM, standing for Consensus-Driven Multi-SOM. The the- sis constitutes an experimental analysis of the organization and learning mechanisms emerging from the association of those modules. We focus on highlighting associative memory mechanisms between several modalities ; the goal for the model is to learn a representation of multiple in- put spaces within the architecture, as well as the relationships existing between these inputs.To analyze these mechanisms, we focus on a method to represent the architecture’s responses, and propose visualization and learning measurement tools. Through this analysis framework, we were able to highlight specific learning behaviors of the architecture model. Particulary, we show an input prediction behavior that emerges from the interactions between the maps of the architecture. The construction of the CxSOM model and the analysis of its behavior on simple architectures stand as groundwork towards the design of a non-hierarchical architecture model with numerous maps.