Distillation de réseaux de neurones pour la généralisation et le transfert en apprentissage par renforcement

Neural network distillation for generalization and transfer in reinforcement learning

• Auteur / Autrice : Valentin Guillet
• Direction : Carlos Aguilar Melchor, Emmanuel Rachelson
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 25/11/2022
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Equipe de recherche : Équipe d'accueil doctoral Modélisation et ingénierie des systèmes (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Laboratoire : Institut supérieur de l'aéronautique et de l'espace (Toulouse, Haute-Garonne). Département d’ingénierie des systèmes complexes
• Jury : Président / Présidente : Pierre-Yves Oudeyer
• Jury : Examinateurs / Examinatrices : Carlos Aguilar Melchor, Emmanuel Rachelson, Alain Dutech, Olivier Sigaud, Caroline Ponzoni Carvalho Chanel
• Jury : Rapporteur / Rapporteuse : Alain Dutech, Olivier Sigaud

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Apprentissage automatique

Mots clés libres

Apprentissage automatique

Apprentissage par renforcement

Transfert

Apprentissage continu

Machine Learning

Reinforcement learning

Transfer

Lifelong Learning

Résumé

Durant la dernière décennie, les réseaux de neurones profonds ont révolutionné l'apprentissage automatique dans de nombreux domaines, et en particulier celui de l'apprentissage par renforcement. Mais malgré des résultats toujours plus impressionnants, il est encore très difficile aujourd'hui de généraliser la connaissance acquise par un réseau de neurones pendant son apprentissage à d'autres contextes que les environnements d'entrainement.Dans cette thèse, nous nous intéressons au lien entre la généralisation d'information et l'apprentissage multitâche, qui consiste à entrainer un réseau de neurones sur plusieurs tâches simultanément. Plus particulièrement, nous étudions comment la distillation, une méthode d'apprentissage par imitation pour les réseaux de neurones, peut encourager l'extraction d'information transférable entre différents environnements.Pour cela, nous commençons par mettre un point un algorithme efficace de distillation pour l'apprentissage multitâche basé sur un algorithme d'imitation élaboré pour faciliter le transfert de caractéristiques visuelles extraites par les réseaux convolutionnels. Nous discutons ensuite de plusieurs éléments d'implémentation ayant un impact important sur les performances de l'algorithme en comparant plusieurs approches pour l'optimisation simultanée et en évaluant les différentes méthodes de transfert entre réseaux.Puis, nous utilisons cet algorithme pour étudier l'impact du processus de distillation sur les représentations apprises par les réseaux de neurones. Nous définissons pour cela trois critères évaluant différentes caractéristiques souhaitables pour un bon espace de représentation, et comparons des réseaux entrainés par des algorithmes standards avec des réseaux issus de la distillation de plusieurs réseaux experts. Cette analyse nous permet de montrer que la distillation favorise l'apprentissage d'un espace de représentation dans lequel les variables d'entrée non pertinentes sont mieux filtrées, les états de l'environnement sont plus séparables selon les actions optimales, et la politique résultante de l'agent est plus robuste aux variations sur l'environnement.Enfin, nous analysons l'impact de ces résultats pour l'apprentissage tout au long de la vie en utilisant les espaces de représentation appris par distillation comme initialisation pour le transfert vers d'autres tâches. Nos expériences montrent que la distillation semble être un bon outil pour empêcher le phénomène de transfert négatif, mais est limité par la difficulté d'identifier les tâches à forte capacité de transfert. Enfin, nous étudions la possibilité d'enchainer plusieurs phases de distillation pour élargir progressivement les connaissances d'un réseau de neurones tout au long de sa vie.Dans l'ensemble, les travaux présentés dans ce manuscrit permettent ainsi de mieux comprendre l'apport de la distillation dans le cadre de l'apprentissage multitâche pour la généralisation de connaissance.

During the last decade, deep neural networks have revolutionized machine learning in many fields, and in particular in the field of reinforcement learning. However, despite increasingly impressive results, it is still very difficult today to generalize the knowledge acquired by a neural network during its training to other contexts than its training environments.In this thesis, we focus on the link between information generalization and multitask learning, which consists in training a neural network on several tasks simultaneously. Specifically, we study how distillation, an imitation learning method for neural networks, can encourage the extraction of transferable information between different environments.To do so, we first develop an efficient distillation algorithm for multi-task learning based on an imitation algorithm developed to facilitate the transfer of visual features extracted by convolutional networks. We then discuss several implementation elements that have a significant impact on the performance of the algorithm by comparing several approaches for simultaneous optimization and evaluating different methods for transferring between networks.We then use this algorithm to study the impact of the distillation process on the representations learned by neural networks. We define three criteria evaluating different desirable characteristics for a good representation space, and compare networks trained by standard algorithms with networks resulting from the distillation of several expert networks. This analysis allows us to show that distillation favors the learning of a representation space in which irrelevant input variables are better filtered, the states of the environment are more separable according to the optimal actions, and the resulting policy of the agent is more robust to variations on the environment.Finally, we analyze the impact of these results for lifelong learning by using the representation spaces learned by distillation as initialization for transfer to other tasks. Our experiments show that distillation seems to be a good tool to prevent the phenomenon of negative transfer, but is limited by the difficulty of identifying tasks with high transfer capacity. Finally, we study the possibility of chaining several distillation phases to progressively expand the knowledge of a neural network throughout its life.Overall, the work presented in this manuscript allows us to better understand the contribution of distillation in the context of multitask learning for knowledge generalization.