Améliorer l'apprentissage des arbres décisionnels

Improving Decision Tree Learning

• Auteur / Autrice : Peng Yu
• Direction : Albert Bifet, Jesse Read
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 15/10/2019
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Equipe de recherche : DIG – Data, Intelligence and Graphs

Mots clés

Mots clés libres

Arbre de décision

Machine learning

Intelligence artificielle

Artificial Intelligence

Machine learning

Decision Tree

Résumé

Des modèles basés sur des arbres de décision ont été implémentés dans de nombreux systèmes de ML réussis, en tant qu'apprenants de base dans des méthodes d'ensemble puissantes, comme XGBoost ou Random Forests. De nombreux ouvrages de la littérature expliquent le fonctionnement de l'arbre décisionnel, tant du point de vue théorique que du point de vue de l'ingénierie. Dans cette proposition, nous aimerions proposer de travailler à l'amélioration de l'efficacité et de l'extensibilité des arbres décisionnels. Nous voulons introduire une nouvelle méthodologie de fractionnement qui profiterait à des ensembles individuels (p. ex., forêts aléatoires, gradient boosting) et à des arbres de décision de diffusion en continu. Nous voulons également créer des modèles hybrides basés sur des arbres de décision et un apprentissage approfondi, qui augmentent la précision et l'explicabilité des deux côtés. Nous présenterons des aperçus théoriques et nous montrerons les avantages de ces améliorations de manière empirique.

Decision tree-based models have been implemented in many successful ML systems, as base learners inside powerful ensemble methods, as XGBoost or Random Forests. Many works in the literature explain how the decision tree works, from the theoretical and from the engineering point of view. In this proposal, we would like to propose to work on improving the efficiency and scalability of decision trees. We want to introduce a new methodology of splitting that would benefit single, ensembles (e.g., Random Forests, Gradient Boosting ) and streaming decision trees. We also want to create hybrid models based on decision trees and deep learning, which extend the accuracy and explainability from both sides. We will present theoretical insights, and we will show the benefits of these improvements empirically.