Apprentissage de la causalité par machine learning pour l'analyse et la prédiction du comportement client

Learning causality with machine learning for the analysis and prediction of customer behavior

• Auteur / Autrice : Mouad El bouchattaoui
• Direction : Paul-Henry CournÈde
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées
• Date : Inscription en doctorat le 01/09/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale INTERFACES : approches interdisciplinaires, fondements, applications et innovation
• Partenaire(s) de recherche : Laboratoire : Mathématiques et Informatique pour la Complexité et les Systèmes - EA 4037
• Partenaire(s) de recherche : Référent : CentraleSupélec

Mots clés

Mots clés libres

Inférence Causale

Données Longitudinales

Apprentissage de Représentation Causale

Régression Contrefactuelle

Modélisation de Variables Latentes

Causal Inference

Longitudinal Data

Causal Representation Learning

Counterfactual Regression

Latent Variable Modeling

Résumé

Cette thèse aborde l'inférence causale et l'apprentissage de représentations causales (CRL) pour des données de haute dimension et évolutives dans le temps, avec des applications dans des domaines tels que la médecine de précision, le marketing et la vente au détail. La première contribution introduit le Causal Dynamic Variational Autoencoder (CDVAE), un modèle conçu pour estimer les Effets de Traitement Individuels (ITE) en capturant l'hétérogénéité non observée dans les réponses aux traitements, due à des facteurs de risque latents. Contrairement aux approches traditionnelles qui supposent que tous les variables confondantes sont observées, CDVAE se concentre sur les variables non observées influençant la séquence des réponses. Grâce à des garanties théoriques en termes d'identifiabilité et de bornes de généralisation sur l'estimation des ITE, CDVAE atteint des performances proches de celles d'un oracle, surpassant les modèles actuels de pointe sur des ensembles de données synthétiques et semi-synthétiques. La deuxième contribution traite du défi de l'estimation des effets de traitement à long terme à travers une approche de régression contrefactuelle dans le temps, en privilégiant l'efficacité computationnelle et la précision des prévisions à long terme. En s'appuyant sur des Réseaux de Neurones Récurrents (RNN) améliorés avec le Codage Prédictif Contrastif (CPC) et la Maximisation de l'Information (InfoMax), le modèle capture les dépendances à long terme en présence de variables confondantes évolutives sans avoir recours aux architectures de transformers. Ce cadre réalise des réponses de pointe en estimation contrefactuelle sur des ensembles de données synthétiques et réelles et constitue la première intégration du Codage Prédictif Contrastif dans l'inférence causale. La troisième contribution aborde l'apprentissage de représentations causales dans des données complexes et de haute dimension. Pour améliorer la transparence des modèles causaux, nous proposons un cadre flexible qui relie les abstractions causales latentes aux données observables. En introduisant des contraintes de parcimonie structurelle et des structures de regroupement, nous améliorons l'interprétabilité, permettant une compréhension plus nuancée des facteurs causaux latents dans des ensembles de données réelles. Appliquée aux données d'achats de Saint-Gobain et aux données médicales de MIMIC III, notre approche démontre l'efficacité du regroupement de sous-espaces parcimonieux pour l'interprétabilité du modèle.

This thesis addresses causal inference and causal representation learning (CRL) for high-dimensional, time-varying data, with applications across fields such as precision medicine, marketing, and retail. The first contribution introduces the Causal Dynamic Variational Autoencoder (CDVAE), a model designed to estimate Individual Treatment Effects (ITEs) by capturing unobserved heterogeneity in treatment response due to latent risk factors. Unlike traditional approaches that assume all confounders are observed, CDVAE focuses on unobserved variables influencing the outcome sequence. Through theoretical guarantees in identifiability and generalization bounds on ITE estimation, CDVAE achieves near-oracle performance on both synthetic and semi-synthetic datasets, outperforming current state-of-the-art models. The second contribution expands on the challenge of long-term treatment effect estimation through a novel approach to counterfactual regression over time, prioritizing computational efficiency and long-term forecasting accuracy. By leveraging Recurrent Neural Networks (RNNs) enhanced with Contrastive Predictive Coding (CPC) and Information Maximization (InfoMax), the model captures long-term dependencies in the presence of time-varying confounders while avoiding the computational costs associated with transformers. This framework achieves state-of-the-art results in counterfactual estimation across synthetic and real-world datasets and is the first to incorporate Contrastive Predictive Encoding into causal inference. The third contribution tackles causal representation learning in complex, high-dimensional data. To enhance the transparency of causal models, we propose a flexible framework that links latent causal abstractions to observable data, moving beyond simplistic single-latent-factor constraints. By introducing structural sparsity patterns and grouping structures, we improve interpretability, allowing for a more nuanced understanding of latent causal factors in real-world datasets. Applied to Saint-Gobain purchase data and MIMIC III medical data, our approach demonstrates the effectiveness of sparse subspace clustering for model readability and practical insight into causal dependencies within observational data.