Apprentissage de règles de classification expressives notamment à partir de données séquentielles

Expressive classification rule learning with an emphasis on learning from sequential data

• Auteur / Autrice : Marine Collery
• Direction : François Fages
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 12/10/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Inria EPI Lifeware - Computational systems biology and optimization
• Jury : Président / Présidente : Florence D'Alché-Buc
• Jury : Examinateurs / Examinatrices : François Fages, Johannes Fürnkranz, Céline Hudelot, Claire Glanois, Siegfried Nijssen, Marc Schoenauer, Shubham Gupta
• Jury : Rapporteurs / Rapporteuses : Johannes Fürnkranz, Céline Hudelot

Mots clés

Mots clés contrôlés

Apprentissage automatique

Mots clés libres

Apprentissage automatique

IA interpretable

IA explicative

Neuro-Symbolique

Règles formelles

Données séquentielles

Machine learning

InterpretableAI

Explainable AI

Neuro-Symbolic

Symbolic rules

Temporal data

Résumé

Au cours des dernières décennies, l’apprentissage automatique, et en particulieravec les réseaux de neurones, a fait d’énormes progrès pour résoudredes problèmes de classification dans différents domaines tels que la santé,la détection des fraudes ou la reconnaissance d’images. Ces modèles sontcapables d’apprendre à partir de différents types de données, allant des imagesaux séries temporelles, et d’atteindre une précision de classification impressionnante.Cependant, leurs décisions sont difficiles, voire impossibles àcomprendre par un être humain. Les méthodes basées sur des règles, quant àelles, sont interprétables, lisibles par l’homme et ont été largement adoptéesdans différents domaines industriels avec les Business Rule Management Systems(BRMS) ou systèmes de gestion des règles métier. En pratique, cependant,ces règles sont écrites manuellement par des experts. L’une des raisonspour laquelle les règles écrites manuellement ne peuvent pas être facilementremplacées par des modèles de règles apprises à partir de données, est queles modèles d’apprentissage de règles ne sont pas capables d’apprendre desrègles aussi expressives, avec des concepts de haut niveau et une grammairecomplexe. De plus, en raison d’un manque de représentations latentes, lesméthodes d’apprentissage basées sur des règles sont moins performantes queles réseaux neuronaux de l’état de l’art.Dans cette thèse, nous proposons une approche de bout en bout baséesur un réseau de neurones permettant d’apprendre des règles expressives pourdes problèmes de classification. Différents niveaux d’expressivité des règlessont présentés et évalués sur de nouvelles données synthétiques et sur certainsensembles de données existants. Tout d’abord, l’apprentissage d’expressionssous la forme normale disjonctive avec un réseau neuronal (modèle de base)est étudié. Ensuite, des extensions pour prendre en charge les donnéesséquentielles sont introduites avec une approche récursive et une approcheconvolutive. Enfin, le modèle est étendu pour apprendre des règles plusexpressives avec des fonctions d’agrégation prédéfinies et des règles de grammairecomplexes.

During the last decades, machine learning and in particular neural networkshave made tremendous progress on classification tasks for a variety of fieldssuch as healthcare, fraud detection or image recognition. They are able tolearn from various data types ranging from images to time series and achieveimpressive classification accuracy. However, their decisions are difficult orimpossible to understand by a human. Rule-based methods on the otherend, are interpretable, human-readable and have been widely adopted in differentindustrial fields with Business Rule Management Systems (BRMS). Inpractice however, those rules are manually written by experts. One of thereasons manually-written rule models cannot easily be replaced with learnedrule models is that rule-based learning models are not able to learn as expressiverules with higher-level concepts and complex grammar. Moreover, due tothe lack of latent representations, rule-based learning methods underperformw.r.t. state-of-the-art neural networks.In this thesis, we propose an end-to-end neural-based approach to learnexpressive rules for classification problems. Different levels of expressivenessin rules are presented, implemented and evaluated on some existing datasetsand new synthetic ones proposed as new benchmarks for binary classificationrule learning. First, the learning of basic disjunctive normal form witha neural network (base model) is studied. Second, extensions to support sequentialdata are introduced with a recursive and a convolutional approaches.Finally, the model is extended to learn more expressive rules with predefinedaggregation functions and overall complex grammar rules.