Thèse soutenue

Efficience et redondance dans les modèles d’apprentissage profond : considérations théoriques et applications pratiques

FR  |  
EN
Auteur / Autrice : Pierre Stock
Direction : Rémi GribonvalHervé Jégou
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 09/04/2021
Etablissement(s) : Lyon
Ecole(s) doctorale(s) : École doctorale InfoMaths (Lyon ; 2009-....)
Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure de Lyon (2010-...)
Entreprise : Meta AI (Paris)
Laboratoire : Laboratoire de l'informatique du parallélisme (Lyon ; 1988-....) - Dynamic Networks : Temporal and Structural Capture Approach - Institut de recherche en informatique et systèmes aléatoires (Rennes) - Parcimonie et Nouveaux Algorithmes pour le Signal et la Modélisation Audio
Jury : Président / Présidente : Julie Delon
Examinateurs / Examinatrices : Rémi Gribonval, Hervé Jégou, Julie Delon, François Malgouyres, Raquel Urtasun, Patrick Pérez, Gabriel Peyré, Aline Roumy
Rapporteurs / Rapporteuses : François Malgouyres, Raquel Urtasun

Mots clés

FR  |  
EN

Résumé

FR  |  
EN

Les réseaux de neurones profonds sont à l'origine de percées majeures en intelligence artificielle. Ce succès s'explique en partie par un passage à l'échelle en termes de puissance de calcul, d'ensembles de données d'entrainement et de taille des modèles considérés -- le dernier point ayant été rendu possible en construisant des réseaux de plus en plus profonds. Dans cette thèse, partant du constat que de tels modèles sont difficiles à appréhender et à entrainer, nous étudions l'ensemble des réseaux de neurones à travers leurs classes d'équivalence fonctionnelles, ce qui permet de les grouper par orbites et de ne manipuler qu'un représentant bien choisi. Ces considérations théoriques nous ont permis de proposer une variante de l'algorithme de descente de gradient stochastique qui consiste à insérer, au cours des itérations, des étapes permettant de choisir le représentant de la classe d'équivalence courante minimisant une certaine énergie. La redondance des paramètres de réseaux profonds de neurones mise en lumière dans ce premier volet amène naturellement à la question de l'efficience de tels réseaux, et donc de leur compression. Nous développons une nouvelle méthode de compression, appelée iPQ et reposant sur de la quantification vectorielle, prouvant qu'il est possible de réduire considérablement la taille d'un réseau tout en préservant sa capacité de prédiction. En combinant iPQ avec une procédure de pré-conditionnement appelée Quant-Noise qui consiste à injecter du bruit de quantification dans le réseau avant sa compression, nous obtenons des résultats état de l’art en termes de compromis taille/capacité de prédiction. Voulant confronter nos recherches à des contraintes de type produit, nous proposons enfin une application de ces algorithmes permettant un appel vidéo à très faible bande passante, déployée sur un téléphone portable et fonctionnant en temps réel.