Aspects algorithmiques et théoriques des réseaux de neurones profonds parcimonieux

Algorithmic and theoretical aspects of sparse deep neural networks

• Auteur / Autrice : Quoc Tung Le
• Direction : Rémi Gribonval
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/12/2023
• Etablissement(s) : Lyon, École normale supérieure
• Ecole(s) doctorale(s) : École doctorale InfoMaths (Lyon ; 2009-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'informatique du parallélisme (Lyon ; 1988-....) - Optimisation, Connaissances pHysiques, Algorithmes et Modèles
• Jury : Président / Présidente : Gabriel Peyré
• Jury : Examinateurs / Examinatrices : Rémi Gribonval, Gabriel Peyré, Caroline Chaux, Nicolas Gillis, François Malgouyres, Elisa Riccietti
• Jury : Rapporteur / Rapporteuse : Caroline Chaux, Nicolas Gillis

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Mots clés libres

Factorisation de matrices

Réseaux de neurones profonds parcimonieux

Parcimonie

Optimisation

Matrix factorisation

Sparse deep neural networks

Sparsity

Optimisation

Résumé

Les réseaux de neurones profonds parcimonieux offrent une opportunité pratique convaincante pour réduire le coût de l'entraînement, de l'inférence et du stockage, qui augmente de manière exponentielle dans l'état de l'art de l'apprentissage profond. Dans cette présentation, nous introduirons une approche pour étudier les réseaux de neurones profonds parcimonieux à travers le prisme d'un autre problème : la factorisation de matrices sous constraints de parcimonie, c'est-à-dire le problème d'approximation d'une matrice (dense) par le produit de facteurs (multiples) parcimonieux. En particulier, nous identifions et étudions en détail certains aspects théoriques et algorithmiques d'une variante de la factorisation de matrices parcimonieux appelée factorisation de matrices à support fixe (FSMF), dans laquelle l'ensemble des entrées non nulles des facteurs parcimonieux est connu. Plusieurs questions fondamentales des réseaux de neurones profonds parcimonieux, telles que l'existence de solutions optimales du problème d'entraînement ou les propriétés topologiques de son espace fonctionnel, peuvent être abordées à l'aide des résultats de la (FSMF). De plus, en appliquant les résultats de la (FSMF), nous étudions également la paramétrisation du type ''butterfly'', une approche qui consiste à remplacer les matrices de poids (larges) par le produit de matrices extrêmement parcimonieuses et structurées dans les réseaux de neurones profonds parcimonieux.

Sparse deep neural networks offer a compelling practical opportunity to reduce the cost of training, inference and storage, which are growing exponentially in the state of the art of deep learning. In this presentation, we will introduce an approach to study sparse deep neural networks through the lens of another related problem: sparse matrix factorization, i.e., the problem of approximating a (dense) matrix by the product of (multiple) sparse factors. In particular, we identify and investigate in detail some theoretical and algorithmic aspects of a variant of sparse matrix factorization named fixed support matrix factorization (FSMF) in which the set of non-zero entries of sparse factors are known. Several fundamental questions of sparse deep neural networks such as the existence of optimal solutions of the training problem or topological properties of its function space can be addressed using the results of (FSMF). In addition, by applying the results of (FSMF), we also study the butterfly parametrization, an approach that consists of replacing (large) weight matrices by the products of extremely sparse and structured ones in sparse deep neural networks.