Paysage d'énergie et réseaux de neurones profonds

Energy landscape and deep neural networks

• Auteur / Autrice : Simon Martin
• Direction : Giulio Biroli, Francis Bach
• Type : Projet de thèse
• Discipline(s) : Physique
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Physique en Île-de-France (Paris ; 2014-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Physique de l'École normale supérieure
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Optimisation

Physique Statistique

Apprentissage

Optimizaton

Statistical Physics

Learning

Résumé

Au regard des récents succès de l'application des méthodes de machine learning, comprendre le fonctionnement des réseaux de neurones et de leur dynamique d'apprentissage est un enjeu d'envergure. En effet, l'architecture des réseaux de neurones complexes repose aujourd'hui principalement sur des heuristiques, alors que le développement d'un cadre théorique mènerait à une meilleure compréhension de leurs dynamiques d'apprentissage et une amélioration de leurs performances. Une approche prometteuse consiste à exploiter les importantes analogies entre le comportement des réseaux de neurones profonds et celui de certains systèmes physiques. Ainsi, la fonction de coût qui apparaît dans les problèmes d'apprentissage peut être assimilée à la fonction d'énergie d'un système désordonné, et le processus d'apprentissage correspond alors à la recherche d'un minimum du paysage d'énergie. L'objectif de cette thèse sera d'allier des outils de mathématiques appliquées et de physique statistique afin de résoudre des problèmes d'optimisation en grande dimension. Plus précisément, on étudiera la dynamique d'apprentissage des réseaux de neurones profonds en utilisant des méthodes inspirées de la théorie des verres de spins.

Despite the breakthrough of machine learning in the past decades, the theory behind neural networks and their learning dynamics is still poorly understood compared to their practical achievement in various domains. At the moment, complex neural networks architectures mainly rely on insights and heuristics, and a lot of theoretical results are awaited to obtain some convergence guarantees as well as a better understanding of the dynamics of neural networks during training. One promising approach is to rely on the strong analogy between the behaviours of physical disordered systems and deep neural networks. Indeed, the loss function in learning problems can be interpreted as an energy function of a disordered system, and therefore the learning process is similar to finding a good minimum of the energy landscape. The goal of this PhD is to combine applied mathematics and statistical physics tools in order to solve optimization problems in high dimension. More precisely, the student will focus on the learning dynamics of deep neural networks by using methods inspired from spin glasses theory.