Introduction de modèles de machine learning interprétables en grande dimension et leurs applications

Introduction of high-dimensional interpretable machine learning models and their applications

• Auteur / Autrice : Simon Bussy
• Direction : Agathe Guilloux, Anne-Sophie Jannot
• Type : Thèse de doctorat
• Discipline(s) : Statistique
• Date : Soutenance le 16/01/2019
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de probabilités, statistique et modélisation (Paris ; 2018-....)
• Jury : Président / Présidente : Franck Picard
• Jury : Examinateurs / Examinatrices : Stéphane Gaïffas, Grégory Nuel, Rodolphe Thiébaut
• Jury : Rapporteurs / Rapporteuses : Raphaël Porcher, Jean-Philippe Vert

Mots clés

Mots clés contrôlés

Statistique mathématique

Analyse de survie (biométrie)

Systèmes de grandes dimensions

Apprentissage automatique

Mots clés libres

Statistiques en grande dimension

Analyse de survie

Apprentissage automatique

Inégalités oracle non-Asymptotiques

Processus de comptage

Applications en santé

Large-scale statistics

Survival analysis

Machine learning

Non-Asymptotic Oracle Inequalities

Counting process

Healthcare applications

Résumé

Dans ce manuscrit sont introduites de nouvelles méthodes interprétables de machine learning dans un contexte de grande dimension. Différentes procédures sont alors proposées : d'abord le C-mix, un modèle de mélange de durées qui détecte automatiquement des sous-groupes suivant le risque d'apparition rapide de l'événement temporel étudié; puis la pénalité binarsity, une combinaison entre variation totale pondérée et contrainte linéaire par bloc qui s'applique sur l'encodage "one-hot'' de covariables continues ; et enfin la méthode binacox qui applique la pénalité précédente dans un modèle de Cox en tirant notamment parti de sa propriété de détection automatique de seuils dans les covariables continues. Pour chacune d'entre elles, les propriétés théoriques sont étudiées comme la convergence algorithmique ou l'établissement d'inégalités oracles non-asymptotiques, et une étude comparative avec l'état de l'art est menée sur des données simulées et réelles. Toutes les méthodes obtiennent de bons résultats prédictifs ainsi qu'en terme de complexité algorithmique, et chacune dispose d'atouts intéressants sur le plan de l'interprétabilité.

This dissertation focuses on the introduction of new interpretable machine learning methods in a high-dimensional setting. We developped first the C-mix, a mixture model of censored durations that automatically detects subgroups based on the risk that the event under study occurs early; then the binarsity penalty combining a weighted total variation penalty with a linear constraint per block, that applies on one-hot encoding of continuous features; and finally the binacox model that uses the binarsity penalty within a Cox model to automatically detect cut-points in the continuous features. For each method, theoretical properties are established: algorithm convergence, non-asymptotic oracle inequalities, and comparison studies with state-of-the-art methods are carried out on both simulated and real data. All proposed methods give good results in terms of prediction performances, computing time, as well as interpretability abilities.