Croissance de réseaux de neurones pour l'apprentissage frugal

Growing neural network for frugal learning

• Auteur / Autrice : Théo Rudkiewicz
• Direction : Sylvain Chevallier
• Type : Projet de thèse
• Discipline(s) : Informatique mathématique
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire Interdisciplinaire des Sciences du Numérique
• Partenaire(s) de recherche : Equipe de recherche : A&O - Apprentissage et Optimisation
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Réseaux de neuronnes

Croissance d'architecture

Frugalité

Neural networks

Neural Architecture Growth

Frugality

Résumé

L'apprentissage frugal vise à réduire les ressources nécessaires à l'entraînement et à l'utilisation de modèles d'IA, en termes de pouvoir computationnel et de quantité de données. Pour ce faire, au lieu de partir de gros modèles et de les réduire après entraînement, nous explorons la piste de la croissance d'architecture, qui consiste à partir d'un tout petit réseau (potentiellement vide) et à le faire croître itérativement, selon les besoins de la tâche d'apprentissage statistique à résoudre, en localisant et en résolvant les problèmes d'expressivité: l'architecture s'adapte alors à la tâche en visant l'optimisation d'un compromis taille/performance. Afin d'améliorer ce compromis, on peut songer à l'incorporation des méthodes classiques de réduction de réseaux de neurones. La distillation et la discrétisation des poids peuvent être appliquées classiquement, en revanche la tensorisation demande à être adaptée, de façon non triviale. Plus généralement, les deux concepts-clefs de cette thèse sont la structure du graphe de calcul du réseau de neurones (tensorisation, partage de poids ou de fonctions) et l'évolution de cette structure lors de l'apprentissage (comment faire évoluer la représentation en tenseurs, quelle stratégie avoir pour développer l'architecture du réseau). Ces concepts peuvent se décliner de différentes façons et mènent notamment aux pistes de recherche suivantes: - la tensorisation: au lieu de faire croître une architecture en ajoutant des neurones ou couches utilisant des tenseurs pleins, on pourrait ajouter des tenseurs de rang faible. La difficulté est de savoir quel type de tensorisation retenir et comment faire évoluer la structure des tenseurs durant la croissance. - le partage de poids permettrait d'obtenir de meilleures propriétés de robustesse et de frugalité en données, en ce que l'estimation d'un poids partagé nécessite moins d'échantillons. De même, à d'autres échelles, on peut envisager de partager des sous-graphes entiers, entre différentes parties d'un même réseau de neurones, ou entre différents réseaux entraînés conjointement sur différentes tâches (apprentissage de module). - la stratégie de croissance. Un travail sur la formulation du manque d'expressivité, permettant de factoriser certains calculs et ainsi partager des quantités intermédiaires, peut conduire à des algorithmes plus efficaces pour estimer, localiser et combler lesdits manques. On peut alors s'appuyer sur les quantités ainsi calculées pour définir des stratégies de développement de l'architecture.

Frugal learning aims to reduce the resources required for training and using AI models, in terms of computational power and data quantity. Instead of starting with large models and then reducing them after training, we explore the approach of architecture growth, which involves starting from a very small (potentially empty) network and iteratively expanding it based on the needs of the statistical learning task at hand. This entails identifying and addressing expressiveness issues: the architecture adapts to the task by aiming to optimize a trade-off between size and performance. To improve this compromise, one could consider incorporating classical methods for reducing neural networks. Distillation and weight discretization can be applied conventionally, whereas tensorization requires adaptation in a non-trivial manner. More generally, the two key concepts of this thesis are the computational graph structure of the neural network (tensorization, weight or function sharing) and the evolution of this structure during learning (how to evolve tensor representation, what strategy to use to develop the network architecture). These concepts can be implemented in various ways and lead to the following research directions: - Tensorization: Instead of growing an architecture by adding neurons or layers using full tensors, one could add tensors of low rank. The challenge is to determine which type of tensorization to use and how to evolve the tensor structure during growth. - Weight sharing could lead to better robustness and frugality properties in data, as estimating a shared weight requires fewer samples. Similarly, at other scales, one could consider sharing entire subgraphs between different parts of the same neural network or between different networks trained jointly on different tasks (module learning). - Growth strategy: Work on formulating the lack of expressiveness, allowing the factorization of certain computations and sharing intermediate quantities, can lead to more efficient algorithms for estimating, locating, and filling these gaps. One can then rely on the quantities computed this way to define architecture development strategies.