Agrégation de modèles en apprentissage statistique pour l'estimation de la densité et la classification multiclasse

Aggregate statistical learning methods for density estimation and multiclass problems

• Auteur / Autrice : Mathias Bourel
• Direction : Badih Ghattas
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 31/10/2013
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : École Doctorale Mathématiques et Informatique de Marseille (Marseille)
• Jury : Président / Présidente : Christophe Pouet
• Jury : Examinateurs / Examinatrices : Fabrice Gamboa, Denis Allard, Ricardo Fraiman
• Jury : Rapporteurs / Rapporteuses : Christophe Biemacki, Gonzalo Perera
• DOI : 10.70675/ae579416z3b4fz4fc7z89a3z5878e563f532

Mots clés

Mots clés contrôlés

Boosting (algorithmes)

Statistique -- Méthodes graphiques

Algorithmes

Statistique mathématique

Mots clés libres

Apprentissage Statistique

Agrégation

Bagging

Boosting

Histogramm

Estimation de la densité

Machine Learning

Agregation

Bagging

Boosting

Histogram

Density estimation

Résumé

Les méthodes d'agrégation en apprentissage statistique combinent plusieurs prédicteurs intermédiaires construits à partir du même jeu de données dans le but d'obtenir un prédicteur plus stable avec une meilleure performance. Celles-ci ont été amplement étudiées et ont données lieu à plusieurs travaux, théoriques et empiriques dans plusieurs contextes, supervisés et non supervisés. Dans ce travail nous nous intéressons dans un premier temps à l'apport de ces méthodes au problème de l'estimation de la densité. Nous proposons plusieurs estimateurs simples obtenus comme combinaisons linéaires d'histogrammes. La principale différence entre ceux-ci est quant à la nature de l'aléatoire introduite à chaque étape de l'agrégation. Nous comparons ces techniques à d'autres approches similaires et aux estimateurs classiques sur un choix varié de modèles, et nous démontrons les propriétés asymptotiques pour un de ces algorithmes (Random Averaged Shifted Histogram). Une seconde partie est consacrée aux extensions du Boosting pour le cas multiclasse. Nous proposons un nouvel algorithme (Adaboost.BG) qui fournit un classifieur final en se basant sur un calcul d'erreur qui prend en compte la marge individuelle de chaque modèle introduit dans l'agrégation. Nous comparons cette méthode à d'autres algorithmes sur plusieurs jeu de données artificiels classiques.

Ensemble methods in statistical learning combine several base learners built from the same data set in order to obtain a more stable predictor with better performance. Such methods have been extensively studied in the supervised context for regression and classification. In this work we consider the extension of these approaches to density estimation. We suggest several new algorithms in the same spirit as bagging and boosting. We show the efficiency of combined density estimators by extensive simulations. We give also the theoretical results for one of our algorithms (Random Averaged Shifted Histogram) by mean of asymptotical convergence under milmd conditions. A second part is devoted to the extensions of the Boosting algorithms for the multiclass case. We propose a new algorithm (Adaboost.BG) accounting for the margin of the base classifiers and show its efficiency by simulations and comparing it to the most used methods in this context on several datasets from the machine learning benchmark. Partial theoretical results are given for our algorithm, such as the exponential decrease of the learning set misclassification error to zero.