Approximations parcimonieuses et méthodes à noyaux pour la compression de modèles d'apprentissage
Auteur / Autrice : | Luc Giffon |
Direction : | Stéphane Ayache, Hachem Kadri, Thierry Artières |
Type : | Thèse de doctorat |
Discipline(s) : | Informatique |
Date : | Soutenance le 18/12/2020 |
Etablissement(s) : | Aix-Marseille |
Ecole(s) doctorale(s) : | École doctorale Mathématiques et Informatique de Marseille (Marseille ; 1994-....) |
Partenaire(s) de recherche : | Laboratoire : Laboratoire d’Informatique et Systèmes (Marseille ; La Garde, Var ; 2018-….) |
Jury : | Président / Présidente : Frédéric Béchet |
Examinateurs / Examinatrices : Marianne Clausel, Rémi Gribonval | |
Rapporteurs / Rapporteuses : Gilles Gasso, Nicolas Usunier |
Mots clés
Résumé
Cette thèse a pour objectif d’étudier et de valider expérimentalement les bénéfices, en terme de quantité de calcul et de données nécessaires, que peuvent apporter les méthodes à noyaux et les méthodes d’approximation parcimonieuses à des algorithmes d’apprentissage existant. Dans une première partie de cette thèse, nous proposons un nouveau type d’architecture neuronale qui fait intervenir une fonction noyau afin d’en réduire le nombre de paramètres à apprendre, ce qui permet de la rendre robuste au sur-apprentissage dans un régime où peu de données annotées sont disponibles. Dans une seconde partie de cette thèse, nous cherchons à réduire la complexité de modèles d’apprentissage existants en y incluant des approximations parcimonieuses. D’abord, nous proposons un algorithme alternatif à l’algorithme des K-moyennes qui permet d’en accélérer la phase d’inférence grâce à l’expression des centroides sous forme d’un produit de matrices parcimonieuses. En plus des garanties de convergence de l’algorithme proposé, nous apportons une validation expérimentale de la qualité des centroides ainsi exprimés et de leur bénéfice en terme de coût calculatoire. Ensuite, nous explorons la compression de réseaux neuronaux par le remplacement des matrices qui le constituent avec des décomposition parcimonieuses. Enfin, nous détournons l’algorithme d’approximation parcimonieuse OMP pour faire une sélection pondérée des arbres de décision d’une forêt aléatoire, nous analysons l’effet des poids obtenus et proposons par ailleurs une alternative non-négative de la méthode qui surpasse toutes les autres techniques de sélection d’arbres considérées sur un large panel de jeux de données.