Geometric methods for learning and memory

• Auteur / Autrice : Dmytro Novytskyy
• Direction : Jean-Pierre Dedieu, Alexander Reznik, Naum Zuselevich Shor
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance en 2007
• Etablissement(s) : Toulouse 3 en cotutelle avec Kiïvsʹkij nacìonalʹnij unìversitet imeni Tarasa Ševčenka (Ukraine)

Mots clés

Mots clés contrôlés

Géodésiques (mathématiques)

Riemann, Variétés de

Cognition

Mémoire

Réseaux neuronaux (physiologie)

Mots clés libres

Variétés riemanniennes

Réseaux neuronaux

Optimisation

Géodésiques

Mémoire associative

Résumé

Cette thèse est consacrée aux méthodes géométriques dans l'optimisation, l'apprentissage et les réseaux neuronaux. Dans beaucoup de problèmes de l'apprentissage (supervises et non supervises), de la reconnaissance des formes, et du groupage, il y a un besoin de tenir en compte de la structure interne (intrinsèque) de l'espace fondamental, qui n'est pas toujours euclidien. Pour les variétés Riemanniennes nous construisons des algorithmes pour la méthode de Newton, les méthodes de gradients conjugues, et certaines méthodes non-lisses d'optimisation comme r-algorithme. A cette fin nous développons des méthodes pour le calcul des géodésiques dans les sous-maîtres bases sur des équations de Hamilton et l'intégration symplectique. Apres nous construisons un nouveau type avec de la mémoire associative neuronale capable de l'apprentissage non supervise et du groupage (clustering). Son apprentissage est base sur moyennage généralise dans les variétés de Grassmann. Future extension de cette mémoire implique les machines a noyaux et transformations de l'espace implicites. Aussi nous considérons des algorithmes géométriques pour le traitement des signaux et le filtrage adaptatif. Les méthodes proposées sont testées avec des exemples standard et avec des problèmes réels de reconnaissance des images et du traitement des signaux. L'application des réseaux neurologiques proposes est démontrée pour un projet réel complet de la reconnaissance des images chimiques (nez électronique).

This thesis is devoted to geometric methods in optimization, learning and neural networks. In many problems of (supervised and unsupervised) learning, pattern recognition, and clustering there is a need to take into account the internal (intrinsic) structure of the underlying space, which is not necessary Euclidean. For Riemannian manifolds we construct computational algorithms for Newton method, conjugate-gradient methods, and some non-smooth optimization methods like the r-algorithm. For this purpose we develop methods for geodesic calculation in submanifolds based on Hamilton equations and symplectic integration. Then we construct a new type of neural associative memory capable of unsupervised learning and clustering. Its learning is based on generalized averaging over Grassmann manifolds. Further extension of this memory involves implicit space transformation and kernel machines. Also we consider geometric algorithms for signal processing and adaptive filtering. Proposed methods are tested for academic examples as well as real-life problems of image recognition and signal processing. Application of proposed neural networks is demonstrated for a complete real-life project of chemical image recognition (electronic nose).