Approximation par réseaux de neurones et construction de réseaux de neurones récurrents quantifiés

Approximation with neural networks and construction of quantized recurrent neural networks

• Auteur / Autrice : Armand Foucault
• Direction : François Malgouyres
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et Applications
• Date : Soutenance le 26/05/2025
• Etablissement(s) : Université de Toulouse (2023-2025)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de mathématiques de Toulouse (2007-....)
• Partenaire(s) de recherche : Etablissement de délivrance conjointe : Université de Toulouse (EPE ; 2025-....)
• Jury : Président / Présidente : Franck Iutzeler
• Jury : Examinateurs / Examinatrices : Vera Kurkova, Vahid Partovi Nia
• Jury : Rapporteurs / Rapporteuses : Rémi Gribonval, Stefan Duffner
• DOI : 10.70675/bf0ee6c0z9ca2z4c94zb619z032221b05a4a

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Algorithmes d'approximation

Mots clés libres

Réseau

Neurone

Quantifié

Récurrents

Approximation

Orthogonalité

Network

Neural

Quantized

Recurrent

Approximation

Orthogonality

Résumé

Dans cette thèse, nous abordons deux problématiques importantes en apprentissage profond : l'approximation et la compression. En approximation, nous étudions l'expressivité des réseaux de neurones profonds. Cela fait l'objet du chapitre 3 de cette thèse. En compression, nous étudions la quantification, jusqu'à la binarisation et ternarisation, des réseaux de neurones récurrents orthogonaux, et nous introduisons deux modèles, QORNN et HadamRNN. Cela fait l'objet des chapitres 4 et 5. Approximation : nous étudions les limites fondamentales du pouvoir expressif des réseaux de neurones. Étant donnés deux ensembles F et G de fonctions à valeurs réelles, nous démontrons d'abord une borne inférieure générale sur l'erreur d'approximation des fonctions de F par des fonctions de G en norme Lp(mu), pour tout p >= 1 et toute mesure de probabilité mu. Cette borne inférieure dépend du packing-number de F, de l'amplitude de F et de la fat-shattering dimension de G. Nous appliquons ensuite cette borne au cas où G correspond à un réseau de neurones MLP avec activation polynômiale par morceaux, et nous décrivons en détail son application à deux ensembles F : les boules de Hölder et les fonctions monotones multivariées. En plus d'établir des bornes inférieures qui correspondent aux bornes supérieures (connues ou nouvelles) à un facteur logarithmique près, nos résultats éclairent les similitudes et différences entre l'approximation en norme Lp et en norme sup, répondant ainsi à une question ouverte posée par DeVore et al. Notre stratégie de preuve diffère du cas de la norme sup et s'appuie sur un résultat clé en probabilité de Mendelson. QORNN : nous explorons la quantification des matrices de poids dans les ORNNs, conduisant à des réseaux de neurones récurrents approximativement orthogonaux quantifiés (Quantized Approximately Orthogonal RNNs, QORNNs). La construction de tels réseaux restait un problème ouvert, reconnu pour son instabilité inhérente. Nous proposons et analysons deux stratégies pour apprendre des QORNNs en combinant la quantification pendant l'entrainement (Quantization-Aware Training, QAT) et les projections orthogonales. Nous étudions également la quantification post-entraînement (PTQ) des activations afin de permettre un calcul purement entier de la boucle récurrente. Les modèles les plus efficaces obtiennent des résultats similaires aux ORNNs full-precision (non-quantifiés), ainsi qu'aux LSTM et FastRNN de l'état de l'art sur une variété de benchmarks standards, même avec une quantification en 4 bits. HadamRNN : les RNNs classiques sont extrêmement sensibles aux changements de leurs poids récurrents, rendant la binarisation et la ternarisation de ces poids difficiles. À ce jour, aucune méthode ne permet de binariser ou ternariser les poids récurrents des RNNs classiques. Nous présentons une nouvelle approche, exploitant les propriétés des matrices de Hadamard, pour paramétriser un sous-ensemble de matrices orthogonales binaires et ternaires parcimonieuses. Cette méthode permet l'entraînement de réseaux de neurones récurrents orthogonaux (ORNNs) avec des poids récurrents binaires et ternaires parcimonieux, créant ainsi une classe spécifique de RNNs classiques binaires et ternaires parcimonieux. Les ORNNs obtenus, nommés HadamRNN et Block-HadamRNN, sont évalués sur divers benchmarks, notamment la Copy task, Sequential MNIST (permutée et non permutée), IMDB dataset, deux benchmarks GLUE ainsi que deux benchmarks en IoT. Malgré la binarisation ou la ternarisation parcimonieuse, ces RNNs maintiennent des performances comparables aux modèles full-precision de l'état de l'art, soulignant l'efficacité de notre approche. Notamment, notre approche est la première solution avec des poids récurrents binaires capable de résoudre la Copy task sur plus de 1000 pas de temps.

In this thesis, we address two important issues in deep learning: approximation and compression. Regarding approximation, we study the expressivity of deep neural networks, which is the focus of Chapter 3 of this thesis. Regarding compression, we study the quantization of orthogonal recurrent neural networks and we introduce two models, QORNN and HadamRNN. This is developed in Chapters 4 and 5. Approximation: We study the fundamental limits to the expressive power of neural networks. Given two sets F, G of real-valued functions, we first prove a general lower bound on how well functions in F can be approximated in Lp(mu) norm by functions in G, for any p >= 1 and any probability measure mu. The lower bound depends on the packing number of F, the range of F, and the fat-shattering dimension of G. We then instantiate this bound to the case where G corresponds to a piecewise-polynomial feed-forward neural network, and describe in details the application to two sets F: Hölder balls and multivariate monotonic functions. Beside matching (known or new) upper bounds up to log factors, our lower bounds shed some light on the similarities or differences between approximation in Lp norm or in sup norm, solving an open question by DeVore et al. Our proof strategy differs from the sup norm case and uses a key probability result of Mendelson. QORNN: We explore the quantization of the weight matrices in ORNNs, leading to Quantized approximately Orthogonal RNNs (QORNNs). The construction of such networks remained an open problem, acknowledged for its inherent instability. We propose and investigate two strategies to learn QORNN by combining quantization-aware training (QAT) and orthogonal projections. We also study post-training quantization of the activations for pure integer computation of the recurrent loop. The most efficient models achieve results similar to state-of-the-art full-precision ORNN, LSTM and FastRNN on a variety of standard benchmarks, even with 4-bits quantization. HadamRNN: Binary and sparse ternary weights in neural networks enable faster computations and lighter representations, facilitating their use on edge devices with limited computational power. Meanwhile, vanilla RNNs are highly sensitive to changes in their recurrent weights, making the binarization and ternarization of these weights inherently challenging. To date, no method has successfully achieved binarization or ternarization of vanilla RNN weights. We present a new approach leveraging the properties of Hadamard matrices to parameterize a subset of binary and sparse ternary orthogonal matrices. This method enables the training of orthogonal RNNs (ORNNs) with binary and sparse ternary recurrent weights, effectively creating a specific class of binary and sparse ternary vanilla RNNs. The resulting ORNNs, named HadamRNN and Block-HadamRNN, are evaluated on various benchmarks, including the copy task, permuted and sequential MNIST tasks, the IMDB dataset, two GLUE benchmarks, and two IoT benchmarks. Despite binarization or sparse ternarization, these RNNs maintain performance levels comparable to state-of-the-art full-precision models, highlighting the effectiveness of our approach. Notably, our approach is the first solution with binary recurrent weights capable of tackling the copy task over 1000 timesteps.