Régularisation et sélection de variables par le biais de la vraisemblance pénalisée

Regularisation and variable selection using penalized likelihood

• Auteur / Autrice : Mohammed El anbari
• Direction : Gilles Celeux
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 14/12/2011
• Etablissement(s) : Paris 11 en cotutelle avec Université Cadi Ayyad (Marrakech, Maroc)
• Ecole(s) doctorale(s) : Ecole doctorale Mathématiques de la région Paris-Sud (1992-2015 ; Orsay)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de mathématiques d'Orsay (1998-....)
• Jury : Président / Présidente : Idrissi mohamed Tissafi
• Jury : Examinateurs / Examinatrices : Gilles Celeux, Idrissi mohamed Tissafi, Stéphane Girard, Idir Ouassou, Brahim Ouhbi, Abdallah Mkhadri
• Jury : Rapporteurs / Rapporteuses : Stéphane Girard, Stéphane Canu

Mots clés

Mots clés contrôlés

Statistique bayésienne

Variables (mathématiques)

Mots clés libres

Réduction de la dimension

Grandes dimensions

Lasso

Scad

Elastic-net

Sélection de modèles

Propriétés d’Oracle

Zellner’s g- prior

Calibration

Dimensionality réduction

High dimensionality

LASSO

Scad

Elastic-net

Model selection

Oracle property

Zellner’s g-prior

Calibration

Résumé

Dans cette thèse nous nous intéressons aux problèmes de la sélection de variables en régression linéaire. Ces travaux sont en particulier motivés par les développements récents en génomique, protéomique, imagerie biomédicale, traitement de signal, traitement d’image, en marketing, etc… Nous regardons ce problème selon les deux points de vue fréquentielle et bayésienne.Dans un cadre fréquentiel, nous proposons des méthodes pour faire face au problème de la sélection de variables, dans des situations pour lesquelles le nombre de variables peut être beaucoup plus grand que la taille de l’échantillon, avec présence possible d’une structure supplémentaire entre les variables, telle qu’une forte corrélation ou un certain ordre entre les variables successives. Les performances théoriques sont explorées ; nous montrons que sous certaines conditions de régularité, les méthodes proposées possèdent de bonnes propriétés statistiques, telles que des inégalités de parcimonie, la consistance au niveau de la sélection de variables et la normalité asymptotique.Dans un cadre bayésien, nous proposons une approche globale de la sélection de variables en régression construite sur les lois à priori g de Zellner dans une approche similaire mais non identique à celle de Liang et al. (2008) Notre choix ne nécessite aucune calibration. Nous comparons les approches de régularisation bayésienne et fréquentielle dans un contexte peu informatif où le nombre de variables est presque égal à la taille de l’échantillon.

We are interested in variable sélection in linear régression models. This research is motivated by recent development in microarrays, proteomics, brain images, among others. We study this problem in both frequentist and bayesian viewpoints.In a frequentist framework, we propose methods to deal with the problem of variable sélection, when the number of variables is much larger than the sample size with a possibly présence of additional structure in the predictor variables, such as high corrélations or order between successive variables. The performance of the proposed methods is theoretically investigated ; we prove that, under regularity conditions, the proposed estimators possess statistical good properties, such as Sparsity Oracle Inequalities, variable sélection consistency and asymptotic normality.In a Bayesian Framework, we propose a global noninformative approach for Bayesian variable sélection. In this thesis, we pay spécial attention to two calibration-free hierarchical Zellner’s g-priors. The first one is the Jeffreys prior which is not location invariant. A second one avoids this problem by only considering models with at least one variable in the model. The practical performance of the proposed methods is illustrated through numerical experiments on simulated and real world datasets, with a comparison betwenn Bayesian and frequentist approaches under a low informative constraint when the number of variables is almost equal to the number of observations.