Forêts causales et transfert par changement de modèle pour l'estimation d'effets de traitement hétérogènes

Causal forests and model shift transfer learning to estimate heterogeneous treatment effect

• Auteur / Autrice : Bérénice-Alexia Jocteur
• Direction : Véronique Maume-Deschamps, Pierre Ribereau
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 03/07/2024
• Etablissement(s) : Lyon 1
• Ecole(s) doctorale(s) : École doctorale InfoMaths (Lyon ; 2009-....)
• Partenaire(s) de recherche : Laboratoire : Institut Camille Jordan (Rhône ; 2005-....)
• Jury : Président / Présidente : Gabriela Ciuperca
• Jury : Examinateurs / Examinatrices : Véronique Maume-Deschamps, Pierre Ribereau, Josselin Garnier, Antoine Chambaz, Nicolas Bousquet, Nicolas Brunel, Marianne Clausel
• Jury : Rapporteurs / Rapporteuses : Josselin Garnier, Antoine Chambaz

Mots clés

Mots clés contrôlés

Apprentissage automatique

Crédit

Forêts d'arbres de décision

Inférence

Mots clés libres

Forêt causale

Inférence causale

Effet de traitement hétérogène

Résultats contrefactuels

Apprentissage par transfert

Décalage de modèle

Risque de crédit

El Niño

Causal forest

Causal inference

Hétérogeneous treatment effect

Potential outcomes

Transfer learning

Model shift

Credit risk

El Niño

Résumé

Cette thèse a été réalisée dans le cadre d’un partenariat CIFRE entre l’Université Lyon 1 et Natixis. Elle a pour objectif de développer des méthodes d’apprentissage statistique permettant l’estimation d’effets causaux. Pour ce faire un modèle spécifique de forêt aléatoire a été développé et ses propriétés asymptotiques ont été étudiées. Puis des applications sur des données réelles ont été proposées, notamment sur une quantité d’intérêt pour la direction des risques de Natixis, mais aussi sur une problématique climatique. Enfin une méthode d’apprentissage par transfert sur la forêt précédemment introduite est proposée et des propriétés de convergence ainsi qu’une borne de généralisation sont établies. Le premier chapitre de cette thèse concerne la construction d’une forêt causale nommée HTERF (Heterogeneous Treatment Effect based Random Forest) qui permet d’estimer la quantité CATE (Conditionnal average treatment effect). Cet estimateur non paramétrique s’inscrit dans la lignée d’autres forêts causales telles que celle introduite par [Athey et al. 2019] nommée GRF pour Generalised Random Forest. La forêt GRF présente des qualités limitées en termes d’interprétabilité et le résultat de consistance et de normalité asymptotique est soumis à un jeu d’hypothèses assez fort. La forêt HTERF qui utilise un critère de partition dédié à l’évaluation des effets causaux permet de pallier ces limitations. D’une part de meilleurs résultats sont obtenus empiriquement sur des simulations que ce soit en termes de qualité de l’estimation de l’effet causal ou en termes d’interprétabilité du modèle. D’autre part un résultat théorique de convergence presque sûre de l’estimateur HTERF est obtenu avec un jeu d’hypothèses plus faibles que pour GRF, un résultat théorique d’interprétabilité est également obtenu. Une implémentation de HTERF en Julia a été créée avec le package CausalForest. Une présentation détaillée de ce package est disponible en appendice du Chapitre 2. Le second chapitre regroupe deux applications de HTERF sur des jeux de données réelles. Le premier exemple concerne le coût du risque de crédit, une quantité d’intérêt pour la gestion du risque de Natixis. Le backtesting des modèles obtenus est partiellement satisfaisant en termes d’erreur. Cependant les résultats en termes d’interprétabilité sont prometteurs au regard de l’expertise métier. Le second exemple porte sur le phénomène climatique ENSO (El Niño – Oscillation australe) et plus particulièrement sur l’impact de El Niño sur les précipitations dans l’est australien. Deux stations météorologiques ont été sélectionnées dans des régions différentes d’Australie. Les résultats sont convaincants pour la première station qui met bien en avant l’impact de El Niño et fait ressortir deux variables plus informatives. Pour la seconde station les données disponibles sont de moins bonne qualité et les résultats obtenus avec HTERF sont moins convaincants. Le troisième chapitre traite d’apprentissage par transfert dans le cas particulier du model shift, lorsque l’on veut estimer un effet causal. La méthode offset introduite par [Wang 2016], propose un algorithme de transfert dans le cadre de la régression, et une borne de généralisation est obtenue. Nous proposons une adaptation causale de cette méthode offset utilisant l’algorithme HTERF. Un résultat de consistance L1 est alors obtenu sous des hypothèses, en accord avec les conditions rencontrées en pratique. Une borne de généralisation est également obtenue, elle permet de décomposer cette erreur en un premier terme correspondant à l’erreur propre à HTERF et un second terme correspondant à l’erreur supplémentaire due à la méthode offset. Des simulations sur des jeux de données synthétiques et semi-synthétiques confirment le bon comportement empirique de cette méthode d’apprentissage par transfert sur les forêts causales.

This thesis was carried out within the framework of a CIFRE partnership between University Lyon 1 and Natixis. Its aim is to develop statistical learning methods for the estimation of causal effects. To this end, a specific model of random forest was developed, and its asymptotic properties were studied. Subsequent applications on real data were proposed, mainly on data of interest for the risk management department of Natixis, but also on a climate-related issue. Finally, a transfer learning method on the previously introduced forest is proposed, and convergence properties as well as a generalization bound are established. The first chapter of this thesis focuses on the construction of a causal forest named HTERF (Heterogeneous Treatment Effect based Random Forest), which allows the estimation of the CATE (Conditional Average Treatment Effect). This non- parametric estimator follows in the footsteps of other causal forests such as the one introduced by [Athey et al. 2019] called GRF for Generalized Random Forest. The GRF forest has limited qualities in terms of interpretability, and the result of consistency and asymptotic normality is subject to a fairly strong set of assumptions. The HTERF forest, which uses a partitioning criterion dedicated to the evaluation of causal effects, addresses these limitations. Better empirical results are obtained in simulations both in terms of the quality of the causal effect estimation and the interpretability of the model. Furthermore, a theoretical result of almost sure convergence of the HTERF estimator is achieved with a set of assumptions that are weaker than those for GRF, and a theoretical result of interpretability is also obtained. An implementation of HTERF in Julia has been created using the CausalForest package. A detailed presentation of this package is available in the appendix of Chapter 2. The second chapter includes two applications of HTERF on real data sets. The first example concerns the cost of credit risk, an estimate of interest for Natixis’s risk management. The backtesting of the obtained models is partially satisfactory in terms of error. However, the results in terms of interpretability are promising from a business expertise standpoint. The second example focuses on the climate phenomenon ENSO (El Niño-Southern Oscillation), specifically on the impact of El Niño on rainfall in Eastern Australia. Two weather stations were selected in different regions of Australia. The results are convincing for the first station, which clearly highlights the impact of El Niño and identifies two particularly informative variables. For the second station, the available data are of lower quality and the results obtained with HTERF are less convincing. The third chapter deals with transfer learning in the specific case of model shift, with the aim of estimating a causal effect. The offset method introduced by [Wang 2016] proposes a transfer algorithm in the context of regression, and a generalization bound is obtained. We propose a causal adaptation of this offset method using the HTERF algorithm. An L1 consistency result is then obtained under assumptions that align with conditions encountered in practice. A generalization bound is also obtained, which allows for the decomposition of this error into a first term corresponding to the intrinsic error of HTERF and a second term corresponding to the additional error due to the offset method. Simulations on synthetic and semi-synthetic datasets confirm the appropriate empirical behaviour of this transfer learning method on causal forests.