Regular contrast estimation and the slope heurisitics

• Auteur / Autrice : Adrien Saumard
• Direction : Philippe Berthet
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et applications
• Date : Soutenance en 2010
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Autre partenaire : Université européenne de Bretagne (2007-2016)

Mots clés

Mots clés contrôlés

Variables aléatoires

Échantillonnage

Moindres carrés

Processus empiriques (mathématiques)

Statistique non paramétrique

Résumé

Cette thèse est consacrée à l'étude théorique d. Une méthode de calibration automatique des pénalités en sélection de modèles. Cette méthode se base sur une heuristique, appelée «heuristique de pente» , qui stipule l'existence d'une pénalité minimale telle que la solution optimale du problème de pénalisation vaut deux fois celle-ci. En pratique, on estime la pénalité optimale en estimant préalablement la pénalité minimale, caractérisée par un changement brutal dans le comportement de la procédure de sélection de modèles autour de ce seuil de pénalisation. L'analyse théorique du phénomème de pente se base sur un contrôle à la constante près des déviations de l'excès de risque et de l'excès de risque empirique des estimateurs considérés, mesurant respectivement leur performance en prédiction et leur performance empirique. Ceci suggère en premier lieu, une forte spécification de la structure du problème étudié. Nous validons l'heuristique de pente dans un cadre général qui s'articule autour d'une notion nouvelle en M-estimation, que nous appelons «contraste régulier», et nous développons une méthodologie de preuve inédite, permettant de traiter à la fois la question des bornes supérieures et des bornes inférieures de déviation des excès de risque à modèle fixé. Nous retrouvons ainsi la plupart des résultats déjà connus sur l'heuristique de pente. En effet, nous donnons trois exemples d. Estimation par minimum de contraste régulier, à savoir la régression par moindres carrés sur des modèles linéaires, l'estimation de la densité par moindres carrés sur des modèles affines et l'estimation de la densité par maximum de vraisemblance sur des ensembles convexes. Ceci nous permet d'étendre les résultats précédemment établis dans le cas de la régression à des modèles plus généraux et de valider l'heuristique de pente pour un risque non quadratique en considérant le cas de l'estimation par maximum de vraisemblance. Enfin, notre méthodologie de preuve fournit des pistes précises de recherche pour des situations non régulières, comme on en trouve en classi. Cation ou plus généralement en théorie de l'apprentissage statistique.

This thesis is devoted to the theoritical analysis of a method of calibration of penalties for model selection procedures. This method is based on a heuristics, called the « slope heuristics », which stipulate the existence of a minimal penalty such that the optimal solution of the penalisation problem is twice this penalty. In practice, one estimate the optimal penalty by the previous estimation of the minimal one, characterized by a complete changing in the behavior of the model selection procedure occuring around the minimal level of penalty. The theoritical understanding of the slope phenomenon is based on a sharp control with exact constant of the deviations of the excess risk and the empirical excess risk of the considered estimators, respectively measuring their performance in prediction and their empirical performance. This suggests a strong specification of the structure of the tackled problem. We validate the slope heuristics in a general framework based on a new notion in M-estimation, that we call « regular contrast », and we develop an original methodology of proof, allowing the simultaneous treatment of the problems of upper and lower bounds for the excess risk. We thus recover most of the known results concerning the slope phenomenon. Indeed, we give tree examples of regular contrast estimation, namely least-squares regression on linear models, least-squares density estimation on affine models and maximum likelihood density estimation on convex sets. This permits us to extend the previously known results in the regression setting to more general linear models and to validate the slope heuristics for a non-quadratic risk considering the maximum likelihood estimation of density. Finally, our methodology of proof provides with precise directions of research for non-regular situations, as one can find in classification and more generally in the statistical learning theory.