Thèse soutenue

Approximations parcimonieuses et méthodes à noyaux pour la compression de modèles d'apprentissage

FR  |  
EN
Auteur / Autrice : Luc Giffon
Direction : Stéphane AyacheHachem KadriThierry Artières
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 18/12/2020
Etablissement(s) : Aix-Marseille
Ecole(s) doctorale(s) : École doctorale Mathématiques et Informatique de Marseille (Marseille ; 1994-....)
Partenaire(s) de recherche : Laboratoire : Laboratoire d’Informatique et Systèmes (Marseille ; La Garde, Var ; 2018-….)
Jury : Président / Présidente : Frédéric Béchet
Examinateurs / Examinatrices : Marianne Clausel, Rémi Gribonval
Rapporteurs / Rapporteuses : Gilles Gasso, Nicolas Usunier

Résumé

FR  |  
EN

Cette thèse a pour objectif d’étudier et de valider expérimentalement les bénéfices, en terme de quantité de calcul et de données nécessaires, que peuvent apporter les méthodes à noyaux et les méthodes d’approximation parcimonieuses à des algorithmes d’apprentissage existant. Dans une première partie de cette thèse, nous proposons un nouveau type d’architecture neuronale qui fait intervenir une fonction noyau afin d’en réduire le nombre de paramètres à apprendre, ce qui permet de la rendre robuste au sur-apprentissage dans un régime où peu de données annotées sont disponibles. Dans une seconde partie de cette thèse, nous cherchons à réduire la complexité de modèles d’apprentissage existants en y incluant des approximations parcimonieuses. D’abord, nous proposons un algorithme alternatif à l’algorithme des K-moyennes qui permet d’en accélérer la phase d’inférence grâce à l’expression des centroides sous forme d’un produit de matrices parcimonieuses. En plus des garanties de convergence de l’algorithme proposé, nous apportons une validation expérimentale de la qualité des centroides ainsi exprimés et de leur bénéfice en terme de coût calculatoire. Ensuite, nous explorons la compression de réseaux neuronaux par le remplacement des matrices qui le constituent avec des décomposition parcimonieuses. Enfin, nous détournons l’algorithme d’approximation parcimonieuse OMP pour faire une sélection pondérée des arbres de décision d’une forêt aléatoire, nous analysons l’effet des poids obtenus et proposons par ailleurs une alternative non-négative de la méthode qui surpasse toutes les autres techniques de sélection d’arbres considérées sur un large panel de jeux de données.