Gérer les données manquantes MNAR et hétérogènes dans différents scénarios d’apprentissage statistique : imputation basée sur des modèles à faible rang, régression linéaire en ligne avec un algorithme de descente de gradient stochastique, et partitionnement de données avec des modèles de mélange

Handling heterogeneous and MNAR missing data in statistical learning frameworks : imputation based on low-rank models, online linear regression with SGD, and model-based clustering

• Auteur / Autrice : Aude Sportisse
• Direction : Arnaud Guyader, Claire Boyer, Julie Josse
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 29/06/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de probabilités, statistique et modélisation (Paris ; 2018-....)
• Jury : Président / Présidente : Gérard Biau
• Jury : Examinateurs / Examinatrices : Charles Bouveyron, Olga Klopp
• Jury : Rapporteur / Rapporteuse : Julien Chiquet, Jes Frellsen

Mots clés

Mots clés contrôlés

Optimisation mathématique

Algorithmes EM

Observations manquantes (statistique)

Apprentissage automatique

Mots clés libres

Données manquantes informatives

Apprentissage statistique

Modèles à bas rang

Algorithme SGD

Modèles de mélange

Algorithmes EM

Régression linéaire en ligne

Modèles graphiques

Informative missing data

Supervised machine learning

Unsupervised machine learning

Résumé

En réponse à la collecte croissante de données, l'analyse statistique représente une réelle opportunité pour les applications, nombreuses et variées. Néanmoins, l'une des ironies du “big data” est que les données manquantes sont inévitables. Le but de cette thèse est de proposer de nouvelles méthodes statistiques pour traiter les valeurs manquantes dans plusieurs cas d'apprentissage supervisé et non supervisé, en particulier lorsque les données sont Missing Not At Random (MNAR), c.à.d. lorsque le manque des valeurs dépend des valeurs manquantes elles-mêmes et des valeurs d'autres variables. Une attention particulière est donnée à l'élaboration de méthodes aux fondements, à la fois théoriques et pratiques, solides, répondant aux besoins concrets posés par les applications. Nous étudions d’abord les modèles à faible rang avec effets fixes ou aléatoires lorsqu’il y a des valeurs MNAR sur plusieurs variables. Puis, nous abordons le cas de la régression linéaire en ligne avec des covariables manquantes en utilisant un algorithme de gradient stochastique moyenné débiaisé, ainsi que le cas du partitionnement de données à l’aide de modèles de mélange lorsqu’il y a des valeurs MNAR. Enfin, nous présentons notre plateforme collaborative sur le traitement des valeurs manquantes, pensée pour permettre la reproductibilité de la recherche et regroupant des méthodes classiques et récentes.

The statistical analysis of growing masses of data represents a real added value for numerous and varied applications. Nevertheless, one of the ironies of the increased data collection is that missing data are unavoidable: the more data there are, the more missing data there are. The goal of this PhD thesis is to propose new statistical methods to handle missing values in several supervised and unsupervised machine learning scenarios, particularly when the data can be Missing Not At Random (MNAR), i.e. when the unavailability of values depends on the missing values themselves and values of other variables. A particular attention has been paid to derive methods relying on both strong theoretical and practical aspects, and meeting concrete needs in applications. First, low-rank models either with fixed or random effects are studied when MNAR values on several variables can occur. Second we address the case of online linear regression with missing covariates using a debiased averaged stochastic gradient algorithm. Furthermore, we investigate model-based clustering with MNAR data. Finally, we present our collaborative platform for reproducible research on missing values processing, that bundles classical and state-of-the-art methods.