Vers une meilleure efficacité et généralisation en apprentissage par imitation : une perspective causale

Towards better efficiency and generalization in imitation learning : a causal perspective

• Auteur / Autrice : Mohamed Khalil Jabri
• Direction : Gilles Coppin, Javen Shi
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 04/12/2024
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire en cotutelle avec University of Adelaide (Australie)
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et le numérique
• Partenaire(s) de recherche : Laboratoire : Equipe Robot interaction, Ambient system, Machine learning, Behaviour, Optimization - Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance (Brest ; 2012-....)
• Jury : Président / Présidente : David Daney
• Jury : Examinateurs / Examinatrices : Gilles Coppin, Javen Shi, François Charpillet, Mehdi Khamassi, Aurélie Clodic, Gilles Le Chenadec
• Jury : Rapporteurs / Rapporteuses : François Charpillet, Mehdi Khamassi

Mots clés

Mots clés contrôlés

Raisonnement

Causalité

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Apprentissage par renforcement

Apprentissage par imitation

Causalité

Raisonnement contre-factuel

Apprentissage de représentation

Généralisation

Reinforcement learning

Imitation learning

Causality

Counterfactual reasoning

Representation learning

Generalization

Résumé

L'apprentissage par imitation, ou apprentissage à partir de démonstrations, est devenu une alternative pratique à l'apprentissage par renforcement en contournant les défis liés à la conception des fonctions de récompense, mais il reste limité par des problèmes d'efficacité en termes d'échantillons et de généralisation. La reconnaissance croissante du rôle de la causalité dans l'amélioration des approches d'apprentissage a conduit à des avancées récentes dans ce domaine. Cette thèse explore des méthodes inspirées par la causalité pour surmonter ces obstacles. D'abord, elle propose un cadre utilisant des modèles causaux structurels (SCMs) et des données contrefactuelles pour améliorer l'estimation des fonctions de récompense dans l'apprentissage par imitation conditionné sur des objectifs, avec moins de données. Ensuite, elle présente une méthode pour identifier des caractéristiques causales invariantes à travers divers environnements sans supervision de domaine, améliorant ainsi la capacité du modèle à être généralisé. Les résultats empiriques valident l'efficacité de ces approches basées sur la causalité, tout en offrant des perspectives plus larges sur l'intégration de ce concept dans les approches de prise de décision.

Imitation Learning, or Learning from Demonstrations, has emerged as a practical alternative to reinforcement learning by circumventing the complexities of reward engineering, yet it remains constrained by challenges such as sample efficiency and generalization. The growing recognition of causality's role in enhancing learning-based approaches has spurred recent advancements in this area. This dissertation investigates causality-inspired methods to address these limitations through two key contributions. First, it introduces a novel framework leveraging Structural Causal Models (SCMs) and counterfactual data to improve goal-conditioned imitation learning, enabling more efficient reward function learning with reduced data requirements. Second, it proposes a method for identifying causal features invariant across environments, applicable to both Reinforcement and Imitation Learning without reliance on domain supervision, making it broadly applicable across various scenarios. Empirical results validate the efficacy of these causality-driven approaches in improving imitation learning algorithms while offering broader insights into the integration of causality in decision-making approaches