Validation croisée et pénalisation pour l'estimation de densité

Cross-validation and penalization for density estimation

• Auteur / Autrice : Nelo Magalhães
• Direction : Lucien Birgé, Pascal Massart
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 26/05/2015
• Etablissement(s) : Paris 11
• Ecole(s) doctorale(s) : Ecole doctorale Mathématiques de la région Paris-Sud (1992-2015 ; Orsay)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de probabilités et modèles aléatoires (Paris ; 1997-2017) - Laboratoire de mathématiques d'Orsay (1998-....)
• Jury : Président / Présidente : Yannick Baraud
• Jury : Examinateurs / Examinatrices : Lucien Birgé, Pascal Massart, Yannick Baraud, Vincent Rivoirard, Nicolas Vayatis, Guillaume Lecué
• Jury : Rapporteur / Rapporteuse : Vincent Rivoirard, Nicolas Vayatis

Mots clés

Mots clés contrôlés

Modèles mathématiques

Estimation, Théorie de l'

Rééchantillonnage (statistique)

Mots clés libres

Statistiques non-paramétriques

Estimation de densité

Sélection d'estimateur

Sélection d'une méthode d'estimation

Estimateurs linéaires

Validation croisée V-fold

Pénalisation

T-estimation

Inégalités d'oracle

Heuristique de pente

Estimation adaptative

Perte Hellinger

Non-parametric statistics

Density estimation

Estimator selection

Statistical algorithm selection

Linear estimators

V-fold cross-validation

Penalization

T-estimation

Oracle inequalities

Slope heuristics

Adaptative estimation

Hellinger loss

Résumé

Cette thèse s'inscrit dans le cadre de l'estimation d'une densité, considéré du point de vue non-paramétrique et non-asymptotique. Elle traite du problème de la sélection d'une méthode d'estimation à noyau. Celui-ci est une généralisation, entre autre, du problème de la sélection de modèle et de la sélection d'une fenêtre. Nous étudions des procédures classiques, par pénalisation et par rééchantillonnage (en particulier la validation croisée V-fold), qui évaluent la qualité d'une méthode en estimant son risque. Nous proposons, grâce à des inégalités de concentration, une méthode pour calibrer la pénalité de façon optimale pour sélectionner un estimateur linéaire et prouvons des inégalités d'oracle et des propriétés d'adaptation pour ces procédures. De plus, une nouvelle procédure rééchantillonnée, reposant sur la comparaison entre estimateurs par des tests robustes, est proposée comme alternative aux procédures basées sur le principe d'estimation sans biais du risque. Un second objectif est la comparaison de toutes ces procédures du point de vue théorique et l'analyse du rôle du paramètre V pour les pénalités V-fold. Nous validons les résultats théoriques par des études de simulations.

This thesis takes place in the density estimation setting from a nonparametric and nonasymptotic point of view. It concerns the statistical algorithm selection problem which generalizes, among others, the problem of model and bandwidth selection. We study classical procedures, such as penalization or resampling procedures (in particular V-fold cross-validation), which evaluate an algorithm by estimating its risk. We provide, thanks to concentration inequalities, an optimal penalty for selecting a linear estimator and we prove oracle inequalities and adaptative properties for resampling procedures. Moreover, new resampling procedure, based on estimator comparison by the mean of robust tests, is introduced as an alternative to procedures relying on the unbiased risk estimation principle. A second goal of this work is to compare these procedures from a theoretical point of view and to understand the role of V for V-fold penalization. We validate these theoretical results on empirical studies.