Invariances, parcimonie et quantification pour un apprentissage à grande échelle frugal et maîtrisé

Invariance, parsimony and quantification for frugal and controlled large-scale learning

• Auteur / Autrice : Maël Chaumette
• Direction : Rémi Gribonval
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Lyon, École normale supérieure
• Ecole(s) doctorale(s) : InfoMaths - Informatique et Mathématiques de Lyon
• Partenaire(s) de recherche : Laboratoire : LIP - Laboratoire de l'informatique du parallélisme

Mots clés

Mots clés libres

Invariances

Quantification optimale

Compression des réseaux neuronaux

Parcimonie

Optimisation à grande échelle

Invariances

Optimal quantization

Neural network compression

Sparsity

Large-scale optimization

Résumé

L'augmentation rapide de la taille des modèles neuronaux modernes met en lumière des défis cruciaux liés à l'entraînement, au stockage et à l'exploitation des réseaux de neurones. Face à ces limitations, il est impératif de développer des techniques d'optimisation capables de réduire les coûts tout en maintenant une performance élevée. Ce projet de thèse se concentre sur la conception d'un cadre mathématique et algorithmique pour la quantification et l'optimisation de paramétrisations parcimonieuses et efficaces de réseaux neuronaux profonds, en s'appuyant sur l'expertise et les travaux récents de l'équipe de recherche. Le projet s'articule autour de trois axes principaux : Quantification exploitant les invariances de remise à l'échelle : Les réseaux neuronaux profonds, en particulier les architectures ReLU, présentent des invariances naturelles sous des transformations de remise à l'échelle. Cette propriété peut être exploitée pour développer des algorithmes de quantification plus efficaces. Nous viserons à concevoir une méthode optimale de quantification des neurones ReLU et à étendre ces résultats à des couches entières et à des réseaux complexes, notamment via l'analyse des produits de matrices creuses et des contractions tensorielles de faible rang. Optimisation prenant en compte les invariances structurelles : Les invariances dues aux équivalences par remise à l'échelle dans les réseaux neuronaux posent des défis pour les algorithmes d'optimisation traditionnels, tels que la descente de gradient. L'objectif est de développer des critères invariants fondés mathématiquement pour choisir de manière cohérente un représentant parmi les classes d'équivalence des paramètres. Nous proposerons également des algorithmes d'optimisation exploitant la structure spectrale (comme celle de la Hessienne ou des couches linéaires) pour accélérer la convergence. Paramétrisations parcimonieuses et de rang faible stables : Les approximations parcimonieuses et de rang faible sont essentielles pour compresser les réseaux neuronaux, mais peuvent induire des instabilités numériques. Ce projet vise à concevoir de nouvelles paramétrisations flexibles et stables, telles que les matrices papillon, adaptées aux réseaux neuronaux modernes. Nous chercherons à lever les difficultés actuelles liées à l'entraînement direct avec ces paramétrisations tout en garantissant une implémentation efficace sur GPU. Ce projet de thèse permettra de répondre aux besoins croissants en optimisation et compression des réseaux neuronaux à grande échelle, tout en contribuant à une meilleure compréhension des invariances et des structures intrinsèques des modèles appris. Les résultats attendus incluent le développement de nouvelles méthodes théoriquement justifiées, des gains significatifs en termes de stockage et de vitesse d'entraînement, et une avancée dans l'apprentissage frugal et maîtrisé.

The rapid growth in the size of modern neural models has highlighted critical challenges related to training, storage, and deployment. To address these limitations, it is essential to develop optimization techniques that reduce computational costs while maintaining high performance. This thesis project focuses on designing a mathematical and algorithmic framework for the quantization and optimization of efficient, sparse parametrizations of deep neural networks, leveraging recent advances from the research team. The project is structured around three main axes: Quantization exploiting scaling invariances: Deep neural networks, particularly ReLU architectures, exhibit natural scaling invariances. This property can be leveraged to design more efficient quantization algorithms. The goal is to develop an optimal method for quantizing ReLU neurons and extend these results to entire layers and complex networks, through the analysis of products of sparse matrices and low-rank tensor contractions. Optimization considering structural invariances: Invariances due to equivalence classes under scaling transformations in neural networks pose challenges for traditional optimization algorithms, such as gradient descent. The aim is to develop mathematically grounded invariant criteria to consistently select a representative within the parameter equivalence classes. We will also propose optimization algorithms that exploit the spectral structure (e.g., of the Hessian or linear layers) to accelerate convergence. Stable sparse and low-rank parametrizations: Sparse and low-rank approximations are key tools for compressing neural networks but may induce numerical instabilities. This project aims to design new flexible and stable parametrizations, such as butterfly matrices, adapted to modern neural networks. We will address current challenges related to direct training with these parametrizations while ensuring efficient implementation on GPUs. This thesis project aims to meet the growing needs for large-scale optimization and compression of neural networks, while also advancing the understanding of intrinsic invariances and structures in learned models. Expected outcomes include the development of theoretically grounded methods, significant gains in storage and training speed, and progress in frugal and controlled learning.