Sous-espaces de politiques pour l'apprentissage par renforcement profond

Subspaces of Policies for Deep Reinforcement Learning

• Auteur / Autrice : Jean-Baptiste Gaya
• Direction : Laure Soulier, Ludovic Denoyer, Alessandro Lazaric
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Soutenance le 26/04/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Éric Gaussier
• Jury : Examinateurs / Examinatrices : Marc'Aurelio Ranzato, Katja Hofmann, Olivier Sigaud
• Jury : Rapporteurs / Rapporteuses : Balázs Kégl, Pierre-Yves Oudeyer

Mots clés

Mots clés contrôlés

Méthodes des sous-espaces

Réseaux neuronaux (informatique)

Apprentissage profond

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Aprentissage par renforcement

Apprentissage en continu

Apprentissage profond

Sous-espace de réseau de neurones

Reinforcement learning

Continual learning

Deep learning

Neural network subspace

Résumé

Ce travail explore les "Sous-espaces de politiques pour l'apprentissage par renforcement profond", introduisant une approche novatrice pour relever les défis d'adaptabilité et de généralisation dans l'apprentissage par renforcement profond (RL). Situé dans le contexte plus large de la révolution de l'IA, cette recherche met l'accent sur la transition vers des modèles évolutifs et généralisables en RL, inspirée par les avancées des architectures et méthodologies d'apprentissage profond. Elle identifie les limites des applications actuelles de RL, notamment pour atteindre une généralisation à travers diverses tâches et domaines, proposant un changement de paradigme vers des méthodes adaptatives. La recherche aborde d'abord la généralisation zero-shot, évaluant la maturité de l'apprentissage profond par renforcement pour généraliser à des tâches inédites sans entraînement supplémentaire. À travers des investigations sur la généralisation morphologique et l'apprentissage par renforcement multi-objectif (MORL), des limitations critiques des méthodes actuelles sont identifiées, et de nouvelles approches pour améliorer les capacités de généralisation sont introduites. Notamment, les travaux sur le moyennage des poids en MORL présentent une méthode simple pour optimiser plusieurs objectifs, montrant un potentiel prometteur pour une exploration future.La contribution principale réside dans le développement d'un cadre de "Sous-espaces de politiques". Cette approche novatrice préconise le maintien d'un paysage dynamique de solutions dans un espace paramétrique plus petit, tirant profit du moyennage des poids des réseaux de neurones. Une diversité fonctionnelle est obtenue avec un minimum de surcharge computationnelle grâce à l'interpolation des poids entre les paramètres des réseaux de neurones. Cette méthodologie est explorée à travers diverses expériences et contextes, y compris l'adaptation few-shot et l'apprentissage par renforcement continu, démontrant son efficacité et son potentiel d'évolutivité et d'adaptabilité dans des tâches RL complexes.La conclusion revient sur le parcours de la recherche, soulignant les implications du cadre des "Sous-espaces de politiques" pour les futures recherches en IA. Plusieurs directions futures sont esquissées, notamment l'amélioration de l'évolutivité des méthodes de sous-espaces, l'exploration de leur potentiel dans des contextes décentralisés, et la prise en compte des défis en matière d'efficacité et d'interprétabilité. Cette contribution fondamentale au domaine du RL ouvre la voie à des solutions innovantes pour relever les défis de longue date en matière d'adaptabilité et de généralisation, marquant une étape significative vers le développement d'agents autonomes capables de naviguer de manière transparente dans un large éventail de tâches.

This work explores "Subspaces of Policies for Deep Reinforcement Learning," introducing an innovative approach to address adaptability and generalization challenges in deep reinforcement learning (RL). Situated within the broader context of the AI revolution, this research emphasizes the shift toward scalable and generalizable models in RL, inspired by advancements in deep learning architectures and methodologies. It identifies the limitations of current RL applications, particularly in achieving generalization across varied tasks and domains, proposing a paradigm shift towards adaptive methods.The research initially tackles zero-shot generalization, assessing deep RL's maturity in generalizing across unseen tasks without additional training. Through investigations into morphological generalization and multi-objective reinforcement learning (MORL), critical limitations in current methods are identified, and novel approaches to improve generalization capabilities are introduced. Notably, work on weight averaging in MORL presents a straightforward method for optimizing multiple objectives, showing promise for future exploration.The core contribution lies in developing a "Subspace of Policies" framework. This novel approach advocates for maintaining a dynamic landscape of solutions within a smaller parametric space, taking profit of neural network weight averaging. Functional diversity is achieved with minimal computational overhead through weight interpolation between neural network parameters. This methodology is explored through various experiments and settings, including few-shot adaptation and continual reinforcement learning, demonstrating its efficacy and potential for scalability and adaptability in complex RL tasks.The conclusion reflects on the research journey, emphasizing the implications of the "Subspaces of Policies" framework for future AI research. Several future directions are outlined, including enhancing the scalability of subspace methods, exploring their potential in decentralized settings, and addressing challenges in efficiency and interpretability. This foundational contribution to the field of RL paves the way for innovative solutions to long-standing challenges in adaptability and generalization, marking a significant step forward in the development of autonomous agents capable of navigating a wide array of tasks seamlessly.