Représentations invariantes de réseaux de neurones et dynamique de leur optimisation

Invariant representations of neural networks and dynamic of their optimization

• Auteur / Autrice : Sibylle Marcotte
• Direction : Gabriel Peyre, Rémi Gribonval
• Type : Projet de thèse
• Discipline(s) : Mathématiques
• Date : Inscription en doctorat le 01/09/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre
• Partenaire(s) de recherche : Laboratoire : DMA - Département de Mathématiques et Applications
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Réseaux de neurones

Optimisation

Invariances

Neural networks

Optimization

Invariances

Résumé

Analyser les performances des architectures profondes est le défi majeur du machine learning moderne. Cette analyse théorique va de pair avec le développement de nouvelles architectures très profondes, et d'algorithmes d'optimisation exploitant les propriétés de ces réseaux. Le point crucial, qui est le cœur de ce sujet de thèse, est de comprendre les compromis entre la sur-paramétrisation des réseaux et la prise en compte des invariances. L'objectif d'ensemble est de développer des méthodes d'apprentissage au comportement maîtrisé tant en termes de complexité algorithmique que de performance statistique. Les pistes envisagées combineront représentations invariantes profondes, approches champ moyen, et exploitation des biais implicites des dynamiques d'apprentissage.

Analyzing the performance of deep architectures is the major challenge of modern machine learning. This theoretical analysis goes hand in hand with the development of new very deep architectures, and of optimization algorithms exploiting the properties of these networks. The crucial point, which is the heart of this thesis subject, is to understand the trade-offs between the over-parameterization of networks and the consideration of invariances. The overall objective is to develop learning methods with controlled behavior both in terms of algorithmic complexity and statistical performance. The research proposed here will combine deep invariant representations, mean-field approaches, and exploitation of the implicit biases of learning dynamics.