Apprentissage de fonctions d'ordre supérieur pour le calcul, la mémorisation et le contrôle par réseaux de neurones artificiels

Learning higher-order functions for computation, memorization and control with artificial neural networks

• Auteur / Autrice : Mathieu Chalvidal
• Direction : Thomas Serre, Rufin VanRullen
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 17/07/2023
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche Cerveau et Cognition (Toulouse ; 1993-....)
• Jury : Président / Présidente : Céline Hudelot
• Jury : Examinateurs / Examinatrices : Dmitry Krotov
• Jury : Rapporteurs / Rapporteuses : Mengye Ren, Hachem Kadri

Mots clés

Mots clés contrôlés

Apprentissage automatique

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones artificiels

Meta-apprentissage

Théorie du contrôle

Systèmes dynamiques

Opérateurs fonctionnels

Théorie de l'apprentissage

Artificial neural networks

Meta-learning

Control theory

Dynamical systems

Functional operators

Learning theory

Résumé

Malgré des décennies de recherche, la compréhension des mécanismes d'apprentissage permettant aux réseaux de neurones biologiques de synthétiser l'expérience vécue pour acquérir de nouvelles compétences et d'articuler ces connaissances dans l’exécution de fonctions cognitives supérieures résiste encore a une description scientifique complète. Au même moment, les avancées du calcul informatique a grande échelle ont permis le développement de leur homologue artificiels, qui sous-tendent actuellement une révolution informationnelle. Ces modèles neuronaux simplifiés présentent toutefois d'importantes différences d'apprentissage en comparaison des réseaux naturels et apporte des explications insatisfaisantes sur les principes computationnels que l'évolution a favorisé au sein des ré- seaux biologiques. Le manque de compositionnalité et de systématicité constitue une limitation évidente du calcul neural artificiel et révèle son échec en tant que véritable paradigme de programmation fonctionnelle. Afin d'identifier les mécanismes susceptibles de permettre une intelligence machine plus abstractive, nous explorons dans cette thèse le problème de l'apprentissage de fonction d'ordre supérieur (i.e fonctions de fonctions) par réseaux de neurones artificiels. Nous proposons de marier les techniques d'apprentissage actuelles à ces réseaux vus comme fonctionnelles contrôlables, permettant de définir des modèles présentant des facultés calculatoires originales comme la mémorisation associative dynamique ou la régression d'opérateurs fonctionnels. En particulier, nous considérons le problème du méta-apprentissage, consistant à remplacer les méthodes manuelle d'ajustement fonctionnel par des méthodes d'adaptation elle-même apprises. En donnant aux réseaux de neurones la possibilité de construire leur propre stratégies d'apprentissage en fonction des données, de leur activité et de leur historique décisionnel, nous explorons de nouvelles formes de programme adaptatifs, trouvant des applications diverses en apprentissage "low-shot" ou en robotiques.

After decades of research, the question of how biological neural networks synthesize experience to serve higher-level cognitive processes (concept acquisition, systematic decision making, evaluative thinking, creativity...) still resists to a complete scientific understanding. At the same time, advances in large scale computation have enabled the development of their artificial counterparts, which currently power a revolution in machine intelligence. These simplified neural models developed through a global scientific trial-and-error process, present however evident behavioral differences and limitations compared to biological neural networks and provide unsatisfactory to little insight into the computational principles that evolution condensed in biological neurons. One evident limitation is the lack of compositionality and systematicity in artificial neural learning, revealing its current failure as a true functional programming paradigm. In an attempt to identify key neural mechanisms able to support more abstractive machine intelligence, this thesis propose to explore the problem of learning higher-order functions (i.e functions of functions) with neural networks. Namely, we propose to marry modern machine learning techniques with the perspective of neural networks as controllable functionals, unearthing original computational mechanisms able to support powerful faculties such as dynamic associative memorization or functional operator regression. In particular, building on the clear epistemological trend that hand-designed methods are eventually replaced by computerized and self-executing solutions, we will consider the specific higher-order problem of learning to learn, i.e meta-learning. We show that granting neural networks the aptitude to design learning strategies with minimal solution constraints as a function of data, activity or choice history, can help explore new forms of adaptive programs, with application to low-shot learning or robotic control.