Contributions à l'apprentissage statistique : estimation de densité, agrégation d'experts et forêts aléatoires

Contributions to statistical learning : density estimation, expert aggregation and random forests

• Auteur / Autrice : Jaouad Mourtada
• Direction : Stéphane Gaïffas, Erwan Scornet
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 08/06/2020
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : École polytechnique (Palaiseau, Essonne ; 1795-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques appliquées (Palaiseau, Essonne)
• Jury : Président / Présidente : Cristina Butucea
• Jury : Examinateurs / Examinatrices : Stéphane Gaïffas, Erwan Scornet, Aurélien Garivier, Peter D. Grünwald, Francis Bach, Gérard Biau, Gábor Lugosi
• Jury : Rapporteurs / Rapporteuses : Aurélien Garivier, Peter D. Grünwald

Mots clés

Mots clés contrôlés

Forêts d'arbres de décision

Apprentissage supervisé (intelligence artificielle)

Statistique

Mots clés libres

Estimation de densité

Prédiction à l’aide d’experts

Forêts aléatoires

Régression linéaire

Régression logistique

Apprentissage supervisé

Density estimation

Prediction with expert advice

Random forests

Linear regression

Logistic regression

Supervised learning

Résumé

L’apprentissage statistique fournit un cadre aux problèmes de prédiction, où l’on cherche à prédire des quantités inconnues à partir d’exemples.La première partie de cette thèse porte sur les méthodes de Forêts aléatoires, une famille d'algorithmes couramment utilisés en pratique, mais dont l'étude théorique s'avère délicate. Notre principale contribution est l'analyse précise d'une variante stylisée, les forêts de Mondrian, pour lesquelles nous établissons des vitesses de convergence non paramétriques minimax ainsi qu'un avantage des forêts sur les arbres. Nous étudions également une variante "en ligne" des forêts de Mondrian.La seconde partie est dédiée à l'agrégation d'experts, où il s'agit de combiner plusieurs sources de prédictions (experts) afin de prédire aussi bien que la meilleure d'entre elles. Nous analysons l'algorithme classique d'agrégation à poids exponentiels dans le cas stochastique, où il exhibe une certaine adaptativité à la difficulté du problème. Nous étudions également une variante du problème avec une classe croissante d'experts.La troisième partie porte sur des problèmes de régression et d'estimation de densité. Notre première contribution principale est une analyse minimax détaillée de la prédiction linéaire avec design aléatoire, en fonction de la loi des variables prédictives; nos bornes supérieures reposent sur un contrôle de la queue inférieure de matrices de covariance empiriques. Notre seconde contribution principale est l'introduction d'une procédure générale pour l'estimation de densité avec perte logarithmique, qui admet des bornes optimales d'excès de risque ne se dégradant pas dans le cas mal spécifié. Dans le cas de la régression logistique, cette procédure admet une forme simple et atteint des vitesses de convergence rapides inaccessibles aux estimateurs de type plug-in.

Statistical machine learning is a general framework to study predictive problems, where one aims to predict unobserved quantities using examples.The first part of this thesis is devoted to Random forests, a family of methods which are widely used in practice, but whose theoretical analysis has proved challenging. Our main contribution is the precise analysis of a simplified variant called Mondrian forests, for which we establish minimax nonparametric rates of convergence and an advantage of forests over trees. We also study an online variant of Mondrian forests.The second part is about prediction with expert advice, where one aims to sequentially combine different sources of predictions (experts) so as to perform almost as well as the best one in retrospect. We analyze the standard exponential weights algorithm on favorable stochastic instances, showing in particular that it exhibits some adaptivity to the hardness of the problem. We also study a variant of the problem with a growing expert class.The third part deals with regression and density estimation problems. Our first main contribution is a detailed minimax analysis of linear least squares prediction, as a function of the distribution of covariates; our upper bounds rely on a control of the lower tail of empirical covariance matrices. Our second main contribution is a general procedure for density estimation under entropy risk, which achieves optimal excess risk rates that do not degrade under model misspecification. When applied to logistic regression, this procedure has a simple form and achieves fast rates of convergence, bypassing some intrinsic limitations of plug-in estimators.