Vers un apprentissage plus profond : réseaux résiduels, équations différentielles neuronales et transformers, en théorie et en pratique

Deeper Learning: Residual Networks, Neural Differential Equations and Transformers, in Theory and Action

• Auteur / Autrice : Michaël Sander
• Direction : Gabriel Peyré
• Type : Projet de thèse
• Discipline(s) : Mathématiques
• Date : Inscription en doctorat le ; Soutenance le 20/11/2024
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre
• Partenaire(s) de recherche : Laboratoire : DMA - Département de Mathématiques et Applications
• Partenaire(s) de recherche : Equipe de recherche : Analyse (DMA)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure
• Jury : Président / Présidente : Francis Bach
• Jury : Examinateurs / Examinatrices : Gabriel Peyre, Arnaud Doucet, Julien Mairal, Anna Korba, Mathieu Blondel, Gérard Biau, Cyril Letrouit
• Jury : Rapporteurs / Rapporteuses : Arnaud Doucet, Julien Mairal

Mots clés

Mots clés libres

Réseaux de neurones

Théorie de l'apprentissage profond

Transformers

Optimisation

Neural networks

Deep learning theory

Transformers

Optimization

Résumé

Cette thèse de doctorat apporte des contributions au domaine de l'apprentissage profond en étudiant les propriétés théoriques et pratiques des réseaux de neurones résiduels profonds. Des réseaux ResNets convolutionnels aux Transformers, ces architectures sont omniprésentes dans les modèles d'apprentissage profond de pointe. Malgré leurs succès indéniables, les réseaux résiduels profonds demeurent théoriquement difficiles à analyser et coûteux en mémoire à entrainer. Les désormais populaires équations différentielles neuronales, les analogues en profondeur infinie des réseaux résiduels offrent à la fois une interprétation théorique plus accessible et un coût mémoire significitativement moindre durant l'entraînement. Cependant, comprendre le lien entre les modèles discrets et continus nécessite une fondation mathématique rigoureuse. Dans ce manuscrit, nous démontrons que, pour qu'une correspondance formelle entre les réseaux résiduels et les équations différentielles neuronales ordinaires soit valide, les fonctions résiduelles doivent être lisses par rapport à la profondeur du réseau. De plus, nous présentons un résultat sur la régularisation implicite des réseaux résiduels profonds vers les équations différentielles neuronales ordinaires : si le réseau est initialisé comme une discrétisation d'une équation différentielle neuronale, alors cette discrétisation se maintient tout au long de l'entraînement. Nous considérons également l'utilisation d'une méthode adjointe discrète pour entraîner les réseaux de neurones résiduels en recalculant les activations à la volée lors d'une rétropropagation dans le réseau, évitant ainsi les coûts mémoires dans les couches résiduelles. Nous montrons que cette méthode réussit théoriquement et empiriquement à grande profondeur. Ensuite, nous illustrons deux applications de cette analogie en concevant et en étudiant de nouvelles architectures. Tout d'abord, nous proposons, en ajoutant un simple terme d'inertie, une alternative pour tout réseau résiduel qui peut être entraînée avec des performances comparables tout en utilisant significativement moins de mémoire. Ces modèles, appelés Momentum Residual Networks, peuvent être interprétés dans la limite d'un nombre infini de couches comme des équations différentielles ordinaires du second ordre. Ensuite, en interprétant le mécanisme d'attention comme un système de particules en interaction, où les particules représentent les mots (ou tokens). Nous explorons également l'impact de la normalisation des matrices d'attention sur le comportement des Transformers, en introduisant une nouvelle architecture appelée Sinkformer, dans laquelle les matrices d'attention sont rendues doublement stochastiques à l'aide de l'algorithme de Sinkhorn. Enfin, nous apportons des contributions supplémentaires à la compréhension des Transformers. Nous examinons comment ils effectuent un apprentissage autoregressif à partir d'un contexte sur des processus autoregressifs du premier ordre, décomposant le processus en deux étapes : l'estimation d'un paramètre interne et la prédiction du prochain token. Notre analyse théorique révèle cette décomposition pour les Transformers entraînés de manière optimale sur de telles tâches. Nous montrons également comment acheminer de manière différentiable les tokens vers des experts dans les Transformers de type Sparse Mixture of Experts en introduisant de nouveaux opérateurs top-k parcimonieux et différentiables. Cette approche s'appuie sur une formulation novatrice de l'opérateur top-k comme un programme linéaire sur le permutahedron — l'enveloppe convexe des permutations d'un vecteur — et introduit un terme de régularisation en norme p pour lisser l'opérateur. Les contributions algorithmiques de cette thèse sont publiquement mis à disposition en ligne.

This PhD thesis presents contributions to the field of deep learning by exploring the theoretical and practical properties of deep residual neural networks, which have become ubiquitous in state-of-the-art models, from convolutional ResNets to Transformers. Despite their undeniable successes, deep residual networks remain theoretically challenging to understand and are memory-intensive to train. Neural differential equations, the continuous-depth analogs of residual networks, have gained widespread adoption, offering both easier theoretical interpretation and memory-efficient training. However, the formal mathematical correspondence between these discrete and continuous models is still underdeveloped. In this manuscript, we demonstrate that for a formal correspondence between residual networks and neural ordinary differential equations to hold, the residual functions must be smooth with respect to the network depth. Additionally, we present a result on the implicit regularization of deep residual networks towards neural ordinary differential equations: if the network is initialized as a discretization of a neural ordinary differential equation, then such a discretization holds throughout training. We also consider the use of a discrete adjoint method to train residual neural networks by recovering the activations on the fly through a backward pass of the network, hence avoiding memory costs in the residual layers. We show that this method theoretically and empirically succeeds at large depth. We then apply this analogy to the design and analysis of novel architectures. First, by incorporating a momentum term, we introduce a drop-in replacement for any residual network that can be trained with equivalent accuracy but with significantly lower memory requirements. These models, termed Momentum Residual Networks, can be interpreted in the infinitesimal step size regime as second-order ordinary differential equations. Second, we demonstrate that Transformers can be interpreted as interacting particle flow maps in the space of probability measures, where the particles represent the tokens. We also investigate the impact of attention map normalization on Transformer behavior, introducing a novel architecture called Sinkformer, in which attention matrices are made doubly stochastic using the Sinkhorn algorithm. Finally, we provide further contributions to understanding the behavior of Transformers in practice. We examine how causal Transformers perform in-context autoregressive learning on first-order autoregressive processes, decomposing the process into two steps: estimating an inner parameter and predicting the next token. Our theoretical analysis reveals this decomposition for Transformers trained to optimality on such tasks. We also show how to differentiably route tokens to experts in Sparse Mixture of Experts Transformers by introducing new sparse and differentiable top-k operators. This approach leverages a novel formulation of the top-k operator as a linear program over the permutahedron—the convex hull of permutations—and introduces a p-norm regularization term to smooth the operator. All algorithmic contributions of this thesis are open-sourced and available online.