La dynamique de transport des réseaux de neurones : un principe de moindre action pour l'apprentissage en profondeur

Unveiling the Transport Dynamics of Neural Networks : a Least Action Principle for Deep Learning

• Auteur / Autrice : Ahmed Skander Karkar
• Direction : Patrick Gallinari, Alain Rakotomamonjy
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Soutenance le 13/10/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : David Picard
• Jury : Examinateurs / Examinatrices : Alasdair Newson
• Jury : Rapporteurs / Rapporteuses : Laetitia Chapel, Ievgen Redko

Mots clés

Mots clés contrôlés

Transport optimal de mesure

Systèmes dynamiques

Équations différentielles

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones

Transport optimal

Méthodes numériques

Équation différentielle

Stabilité

Robustesse

Neural networks

Optimal transport

Numerical methods

Differential equations

Stability

Robustness

Résumé

Le point de vue dynamique des réseaux résiduels les considère comme étant analogues à un schéma d'Euler pour une équation différentielle ordinaire. Nous pouvons donc dire que les réseaux résiduels transportent les points d'entrée dans l'espace, le temps étant représenté par la profondeur du réseau. Ce point de vue a par exemple conduit à de nouvelles architectures inspirées d'autres schémas numériques pour les équations différentielles. D'autre part, un biais des réseaux résiduels en faveur de petites perturbations de l'entrée a été observé. Dans le contexte de la vue dynamique des réseaux résiduels mentionnée ci-dessus, ce biais signifie un penchant pour un faible coût de transport. Dans un premier article, nous vérifions expérimentalement que ce biais est bénéfique et devrait être encouragé, et nous montrons que contraindre le réseau à approximer une carte de transport optimale en régularisant son coût de transport améliore sa capacité de généralisation. Dans un deuxième article, nous montrons que l'application de cette régularisation de transport à des modules neuronaux successifs sans rétropropagation entre eux revient à suivre un flux de gradient pour minimiser la perte dans l'espace des distributions, améliorant ainsi les performances de l'entraînement par module. Dans un troisième article, nous proposons un détecteur d'attaques adverses basé sur la vue des réseaux résiduels en tant que systèmes dynamiques discrets, et montrons que la régularisation du transport facilite la détection des attaques adverses.

Residual connections are ubiquitous in deep learning, since besides residual networks and their variants, they are also present in Transformer architectures. The dynamic view of residual networks views them as analogous to a forward Euler scheme for an ordinary differential equation. We can then say that residual networks transport input points in space, time being represented by the depth of the network. This viewpoint has, for example, led to new architecture inspired by other numerical schemes for differential equations. On the other hand, a bias of residual networks towards small perturbations of the input has been observed. In the context of the dynamic view of residual networks mentioned above, this means a bias towards a small transport cost. In a first paper, we experimentally verify that this bias is beneficial and should be encouraged and we show that forcing the network to approximate an optimal transport map by regularizing its transport cost improves its generalization ability and training stability. In a second paper, we show that applying this transport regularization to successive neural modules that don't back-propagate to each other amounts to following a gradient flow for minimizing the loss in distribution space, thus improving the performance of module-wise training, which consumes a lot less memory than end-to-end training. In a third paper, we propose a detector of adversarial and out-of-distribution samples that is based on the view of residual networks as discrete dynamical systems and show that transport regularization makes adversarial detection easier.