Thèse soutenue

Aspects algorithmiques et théoriques des réseaux de neurones profonds parcimonieux
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Quoc Tung Le
Direction : Rémi Gribonval
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 20/12/2023
Etablissement(s) : Lyon, École normale supérieure
Ecole(s) doctorale(s) : École doctorale en Informatique et Mathématiques de Lyon
Partenaire(s) de recherche : Laboratoire : Laboratoire de l'informatique du parallélisme (Lyon ; 1988-....) - Optimisation, Connaissances pHysiques, Algorithmes et Modèles
Jury : Président / Présidente : Gabriel Peyré
Examinateurs / Examinatrices : Rémi Gribonval, Gabriel Peyré, Caroline Chaux, Nicolas Gillis, François Malgouyres, Elisa Riccietti
Rapporteurs / Rapporteuses : Caroline Chaux, Nicolas Gillis

Mots clés

FR  |  
EN

Résumé

FR  |  
EN

Les réseaux de neurones profonds parcimonieux offrent une opportunité pratique convaincante pour réduire le coût de l'entraînement, de l'inférence et du stockage, qui augmente de manière exponentielle dans l'état de l'art de l'apprentissage profond. Dans cette présentation, nous introduirons une approche pour étudier les réseaux de neurones profonds parcimonieux à travers le prisme d'un autre problème : la factorisation de matrices sous constraints de parcimonie, c'est-à-dire le problème d'approximation d'une matrice (dense) par le produit de facteurs (multiples) parcimonieux. En particulier, nous identifions et étudions en détail certains aspects théoriques et algorithmiques d'une variante de la factorisation de matrices parcimonieux appelée factorisation de matrices à support fixe (FSMF), dans laquelle l'ensemble des entrées non nulles des facteurs parcimonieux est connu. Plusieurs questions fondamentales des réseaux de neurones profonds parcimonieux, telles que l'existence de solutions optimales du problème d'entraînement ou les propriétés topologiques de son espace fonctionnel, peuvent être abordées à l'aide des résultats de la (FSMF). De plus, en appliquant les résultats de la (FSMF), nous étudions également la paramétrisation du type "butterfly", une approche qui consiste à remplacer les matrices de poids (larges) par le produit de matrices extrêmement parcimonieuses et structurées dans les réseaux de neurones profonds parcimonieux.