Arbres de décision optimaux via la recherche : un cadre d’apprentissage par renforcement
| Auteur / Autrice : | Ayman Chaouki |
| Direction : | Jesse Read, Albert Bifet |
| Type : | Thèse de doctorat |
| Discipline(s) : | Informatique, données, IA |
| Date : | Soutenance le 29/11/2024 |
| Etablissement(s) : | Institut polytechnique de Paris en cotutelle avec Université de Waikato |
| Ecole(s) doctorale(s) : | École doctorale de l'Institut polytechnique de Paris |
| Partenaire(s) de recherche : | Laboratoire : Laboratoire d'informatique de l'École polytechnique (Palaiseau ; 1988-....) - Laboratoire d'informatique de l'École polytechnique [Palaiseau] / LIX |
| Jury : | Président / Présidente : Nicolas Chopin |
| Examinateurs / Examinatrices : Jesse Read, Albert Bifet, Pierre Schaus, Mathijs M. de Weerdt, Émilie Kaufmann | |
| Rapporteurs / Rapporteuses : Pierre Schaus, Mathijs M. de Weerdt | |
| DOI : | 10.70675/9b3ad39az3d7bz48aczaf65z13493c0afa4c |
Mots clés
Résumé
Les arbres de décision (DTs) sont des modèles importants en raison de leur interprétabilité, en particulier ceux ayant une petite complexité (ou taille). Cette thèse apporte des contributions à l'optimisation des arbres de décision en pénalisant la complexité. Nous formulons le problème comme un processus de décision markovien (MDP), et nous divisons la thèse en deux parties : 1- Apprentissage des arbres de décision optimaux étant donné un ensemble de données fixe, et 2- Apprentissage des arbres de décision optimaux étant donné un flux de données. Notre contribution principale dans 1- est le développement de l'algorithme Branches. Branches utilise une procédure efficace de programmation dynamique, ainsi qu'une stratégie d'élagage par la méthode séparation et évaluation basée sur une nouvelle borne analytique que nous appelons borne de purification. Nous démontrons théoriquement qu'à la fin de l'exécution de Branches, celui-ci renvoie toujours l'arbre de décision optimal. De plus, nous analysons sa complexité en bornant le nombre de ses étapes d'évaluation, et nous montrons numériquement que cette borne est nettement inférieure aux bornes de complexité fournies dans la littérature. Du point de vue empirique, Branches surpasse l'état de l'art en termes de nombre d'itérations et de temps d'exécution sur de nombreux ensembles de données standards. Branches peut encore être amélioré par une implémentation en C++, d'autant plus qu'il se prête à une formulation pour le calcul parallèle. Dans 2- nous proposons deux approches. La première est basée sur une recherche arborescente Monte Carlo, aboutissant à trois algorithmes UCDT, EGDT et TSDT qui trouvent asymptotiquement l'arbre optimal presque sûrement. La seconde approche, Online-Branches, est une généralisation de Branches pour les flux de données, elle est basée sur une fenêtre glissante de taille fixe. Nous démontrons que sa probabilité d'optimalité, après l'observation d'un certain nombre de données, converge vers 1 exponentiellement avec la taille de la fenêtre. Toutes ces méthodes surpassent les arbres de décision en ligne existants en précision et qualité du modèle final proposé.