Vers un apprentissage plus profond : réseaux résiduels, équations différentielles neuronales et transformers, en théorie et en pratique

Deeper Learning: Residual Networks, Neural Differential Equations and Transformers, in Theory and Action

• Auteur / Autrice : Michaël Sander
• Direction : Gabriel Peyre
• Type : Projet de thèse
• Discipline(s) : Mathématiques
• Date : Inscription en doctorat le 01/09/2020
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département de mathématiques et applications (1998-....)
• Partenaire(s) de recherche : Equipe de recherche : Analyse (DMA)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Réseaux de neurones

Théorie de l'apprentissage profond

Transformers

Optimisation

Neural networks

Deep learning theory

Transformers

Optimization

Résumé

Les réseaux de neurones résiduels profonds atteignent l'état de l'art dans de nombreux domaines de l'apprentissage profond. Leur analogue continues, les équations différentielles neuronales, sont également largement utilisées. Ce doctorat s'intéresse dans un premier temps à cette analogie pour proposer de nouvelles architectures profondes, puis, dans un second temps, propose un formalisme pour étudier rigoureusement la correspondance mathématiques entre les deux objets. Nouvelles architectures: -L'entraînement de réseaux de neurones résiduels profonds se fait à l'aide de l'algorithme de rétropropagation du gradient. Cette approche est efficace en temps de calcul, mais utilise un espace mémoire qui peut devenir prohibitif, surtout pour des architectures profondes. Nous utilisons l'analogie entre réseaux résiduels et équations différentielles afin de proposer des techniques de stabilisation et de compression permettant de réduire au maximum l'empreinte mémoire. Plus précisément, nous proposons une nouvelle architecture dont la limite continue correspond à une équation différentielle d'ordre deux. Cette architecture est parfaitement inversible, ce qui permet d'avoir un coup mémoire constant en profondeur. -Les Transformers sont un type particulier de réseaux de neurones résiduels, qui fait interagir les données en considérant des intéractions par paires. Nous proposons une modélisation des ces Transformers avec des équations aux dérivées partielles afin d'étudier l'impact de la normalisation du noyau d'attention sur les dynamiques correspondantes pour les particules. Pour le choix d'un noyau doublement stochastique, l'évolution correspond à un flot gradient Wasserstein pour la minimisation d'une certaine fonction sur l'espace des mesures. Etude mathématique: De simples contre-exemples révèlent que les dynamiques discrètes des réseaux de neurones résiduels peuvent être différentes de solutions d'équations différentielles. Nous montrons que, sous des hypothèses concernant l'initialisation des poids des réseaux, si ceux- ci discrétisent une équation différentielle à leur initialisation, alors ils discrétiseront une équation différentielle durant leur entraînement, le tout uniformément en profondeur et temps d'optimisation. Comme sous-produit de notre analyse, nous considérons l'utilisation d'une méthode d'adjoint discret sans mémoire pour former un réseau résiduel en récupérant les activations à la volée par un passage en arrière du réseau, et nous montrons que cette méthode réussit théoriquement à une grande profondeur si les fonctions résiduelles sont Lipschitz avec l'entrée. Cette thèse propose des librairies open-source python, qui seront construites comme des extensions des librairies Python d'apprentissage et différenciation automatique Pytorch et JAX.

Deep residual neural networks are state-of-the-art in many areas of deep learning. Their continuous analog, neural differential equations, are also widely used. This PhD first uses this analogy to propose new deep architectures, and then proposes a formalism to rigorously study the mathematical correspondence between the two objects. New architectures: -Deep residual neural networks are trained using the gradient backpropagation algorithm. This approach is computationally efficient, but uses memory space that can become prohibitive, especially for deep architectures. We use the analogy between residual networks and differential equations to propose stabilization and compression techniques that minimize the memory footprint. More specifically, we propose a new architecture whose continuous limit corresponds to a second-order differential equation. This architecture is perfectly invertible, allowing a constant memory depth. -Transformers are a particular type of residual neural network, interacting data by considering pairwise interactions. We propose to model these Transformers with partial differential equations in order to study the impact of normalizing the attention kernel on the corresponding particle dynamics. For the choice of a doubly stochastic kernel, the evolution corresponds to a Wasserstein gradient flow for the minimization of a certain function on the space of measurements. Mathematical study: Simple counterexamples reveal that the discrete dynamics of residual neural networks can be different from solutions of differential equations. We show that, under assumptions concerning the initialization of network weights, if they discretize a differential equation at initialization, then they will discretize a differential equation during training, all uniformly in optimization time and depth. As a byproduct of our analysis, we consider the use of a memory-free discrete adjoint method to train a residual network by recovering the activations on the fly through a backward pass of the network, and show that this method theoretically succeeds at large depth if the residual functions are Lipschitz with the input. This thesis proposes open-source Python libraries, which will be built as extensions to the Python automatic learning and differentiation libraries Pytorch and JAX.