De l'importance des actions : assignation de crédit et interprétabilité pour l'apprentissage par renforcement

On actions that matter : credit assignment and interpretability in reinforcement learning

• Auteur / Autrice : Johan Ferret
• Direction : Philippe Preux, Olivier Pietquin
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 04/07/2022
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : École graduée Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Centre Inria de l'Université de Lille - Centre de Recherche en Informatique, Signal et Automatique de Lille
• Jury : Président / Présidente : David Filliat
• Jury : Examinateurs / Examinatrices : Amir Ofra, Théophane Weber, Matthieu Geist
• Jury : Rapporteur / Rapporteuse : David Filliat, Fabien Moutarde

Mots clés

Mots clés contrôlés

Markov, Processus de

Réseaux neuronaux (informatique)

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Interprétabilité

Explicabilité

Prise de décision séquentielle

Neural networks

Reinforcement Learning

Explainability

Machine Learning

Interpretability

Résumé

Cette thèse, écrite pour l'obtention du doctorat en Informatique, étudie la question de l'importance individuelle des actions dans la prise de décision séquentielle, via le prisme de l'Apprentissage par Renforcement, avec diverses applications.Une découverte importante de ce travail est que deux problèmes ouverts en apparence distincts en Apprentissage par Renforcement, à savoir le problème d'assignation de crédit et l'interprétabilité, ont des solutions partielles qui impliquent des outils communs qui peuvent être vus comme des estimations de formes particulières d'importance des actions.Des algorithmes qui correspondent à des formes distinctes d'importance des actions sont proposées et étudiées empiriquement, d'un point de vue plus théorique, ou les deux.

This thesis, written for the qualification of Doctor of Philosophy in Computer Science, studies the question of the individual importance of actions in sequential decision-making, through the lens of Reinforcement Learning, and with diverse applications.An important finding of this work is that two seemingly different open problems in Reinforcement Learning, namely the credit assignment problem and explainability, have partial solutions that involve similar tools that can all be viewed as the estimation of particular forms of action importance.Several algorithms that suit different forms of action importance are proposed and studied from a theoretical point of view, empirically, or both.