Attribution de crédit pour l'apprentissage par renforcement dans des réseaux profonds

Credit Assignment in Deep Reinforcement Learning

• Auteur / Autrice : Thomas Mesnard
• Direction : Éric Moulines, Rémi Munos
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 21/12/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques appliquées (Palaiseau, Essonne) - Centre de Mathématiques Appliquées - Ecole Polytechnique / CMAP
• Jury : Président / Présidente : Aurélien Garivier
• Jury : Examinateurs / Examinatrices : Éric Moulines, Rémi Munos, Timothy Lillicrap, Doina Precup, Alessandro Lazaric
• Jury : Rapporteurs / Rapporteuses : Aurélien Garivier, Timothy Lillicrap

Mots clés

Mots clés contrôlés

Intelligence artificielle

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Apprentissage par renforcement

Attribution de crédit

Raisonnement

Deep Reinforcement Learning

Credit Assignment

Reasoning

Résumé

L'apprentissage profond par renforcement a été au cœur de nombreux résultats révolutionnaires en intelligence artificielle ces dernières années. Ces agents reposent sur des techniques d'attribution de crédit qui cherchent à établir des corrélations entre actions passées et événements futurs et utilisent ces corrélations pour devenir performants à une tâche. Ce problème est au cœur des limites actuelles de l'apprentissage par renforcement et les techniques d'attribution de crédit utilisées sont encore relativement rudimentaires et incapables de raisonnement inductif. Cette thèse se concentre donc sur l'étude et la formulation de nouvelles méthodes d'attributions de crédit dans le cadre de l'apprentissage par renforcement. De telles techniques pourraient permettre d'accélérer l'apprentissage, de mieux généraliser lorsqu'un agent est entraîné sur de multiples tâches, et peut-être même permettre l'émergence d'abstraction et de raisonnement.

Deep reinforcement learning has been at the heart of many revolutionary results in artificial intelligence in the last few years. These agents are based on credit assignment techniques that try to establish correlations between past actions and future events and use these correlations to become effective in a given task. This problem is at the heart of the current limitations of deep reinforcement learning and credit assignment techniques used today remain relatively rudimentary and incapable of inductive reasoning. This thesis therefore focuses on the study and formulation of new credit assignment methods for deep reinforcement learning. Such techniques could speed up learning, make better generalization when agents are trained on multiple tasks, and perhaps even allow the emergence of abstraction and reasoning.