Physique statistique des reseaux de neurones : correlations spatiales et apprentissage

Statistical physics of neural networks : spatial correlations and learning

• Auteur / Autrice : Rémi Monasson
• Direction : Marc Mézard
• Type : Thèse de doctorat
• Discipline(s) : Physique
• Date : Soutenance en 1993
• Etablissement(s) : Paris 6

Résumé

Trois applications de la mecanique statistique dans l'espace des reseaux due a gardner sont presentees. Le premier chapitre est consacre au probleme de la memorisation des donnees (patterns) dans les reseaux de neurones a architectures complexes, incluant plusieurs couches de neurones. Apres une presentation generale des travaux deja effectues et des difficultes restant a resoudre, on s'interesse tout particulierement au cas des reseaux a architecture en arbre ayant des synapses binaires. Enfin, un modele simplifie de reseau est propose, modele qui permet de mieux comprendre la structure geometrique de l'ensemble des couplages memorisant les patterns. Le deuxieme chapitre presente le probleme de l'apprentissage d'une regle par l'exemple. Apres avoir defini la notion de generalisation a partir d'un cas simple, le fit de polynomes, on montre comment le formalisme de mecanique statistique dans l'espace des reseaux peut etre adapte a ce probleme. Pour l'illustrer, un exemple de reseau, le compteur de domaines bidimensionnels, est expose en detail. Enfin, le troisieme chapitre est consacre a la question de la structure spatiale. Dans les modeles etudies jusqu'ici, aucune notion de distance entre les neurones, de correlations entre leurs activites n'existait. Outre la modification des capacites de memorisation, l'introduction de correlations spatiales dans les patterns, via leur distribution statistique, provoque l'emergence d'une structure spatiale non triviale parmi les couplages, structure presentant de fortes analogies avec des mesures experimentales en neurobiologie.