​Dérive des modèles d’apprentissage : détection, mise à jour à la volée et correction

Concept Drift : detection, update and correction

• Auteur / Autrice : Maxime Fuccellaro
• Direction : Akka Zemmari, Laurent Simon
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 25/11/2024
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Fleur Mougin
• Jury : Examinateurs / Examinatrices : Astrid Jourdan-Marias
• Jury : Rapporteurs / Rapporteuses : Alexandre Termier, Arnaud Lallouet

Mots clés

Mots clés contrôlés

Analyse des données

Données massives

Apprentissage automatique

Mots clés libres

Dérive conceptuelle

Apprentissage automatique

Big data

Concept Drift

Machine Learning

Big Data

Résumé

L’adoption généralisée de l’intelligence artificielle a entraîné une croissance exponentielle du nombre de modèles créés et utilisés en production. La capacité des modèles d’apprentissage automatique s’améliorant constamment, permet aux modèles d’atteindre de nouveaux domaines d’application précédemment hors de portée. La définition de base de la dérive conceptuelle (DC) est un changement de distribution des données. Il existe plusieurs catégories de dérives basées sur l’amplitude, la vitesse ou la récurrence. La dérive conceptuelle peut apparaître naturellement sur le temps long, par exemple dans la façon dont nous nous déplaçons ; les modèles utilisés pour estimer les retards dans les transports publics ne seront pas ou plus performants dans dix ans. La DC peut également être brutale et rendre rapidement les modèles prédictifs obsolètes, comme l’illustre la pandémie du covid dans de nombreux domaines d’applications. Comme la probabilité qu’un modèle soit affecté par la dérive augmente avec l’âge du modèle, la dérive conceptuelle devient un phénomène courant qui doit être pris en compte avant la construction d’un modèle. La dérive conceptuelle peut être divisée en deux catégories principales : la dérive réelle et la dérive virtuelle. On parle de dérive réelle lorsque la capacité d’un modèle prédictif à classer correctement des échantillons est affectée par le changement de distribution. Une dérive est dite virtuelle lorsque le changement de distribution n’a que peu ou pas d’impact sur les performances prédictives du modèle. Lorsqu’une dérive est virtuelle, elle ne doit pas être détectée. La dérive fait est devenue un sujet de recherche actif au cours des dernières années. Toutefois, la plupart des recherches se sont concentrées sur la détection des dérives réelles lorsque les étiquettes ou la vérité terrain sont connues. Ces algorithmes partent du principe que la dérive se produit lorsque les prédictions du modèle se détériorent. Diverses techniques de fenêtrage combinées à des tests statistiques sont appliquées pour trouver avec précision les événements de dérive. Ces méthodes peuvent permettre une détection presque parfaite, mais elles supposent que les véritables étiquettes soient disponibles immédiatement après la phase d’inférence, ce qui est rarement le cas dans le monde réel. C’est rarement le cas dans les scénarios réels où les étiquettes de classe peuvent mettre longtemps à arriver ou ne jamais être connues. Certains algorithmes de détection de dérive fonctionnent sans nécessiter les vraies étiquettes de classe, mais confondent souvent une dérive virtuelle avec une dérive réelle, ce qui entraîne un réentraînement coûteux et inutile. L’objectif de notre travail consiste à créer des algorithmes de détection de dérive qui ne nécessitent pas de véritables étiquettes pour fonctionner tout en ne détectant pas à tort une dérive virtuelle comme une dérive réelle. Ainsi, les contributions de cette thèse sont les suivantes : (i) Partially Supervised Drift Detector (PSDD), un algorithme qui partitionne l’espace des caractéristiques en utilisant des arbres de décision pour trouver des changements de distribution en utilisant un test statistique ; (ii) Real Drift Detector (RDD) améliore PSDD en modifiant le mécanisme de partitionnement, en appliquant plusieurs filtres et en utilisant différents tests et en définissant un paramètre utilisateur qui permet un contrôle plus fin sur les erreurs de détection ; (iii) Gaussian Split Detector (GSD), un algorithme qui détecte les dérives réelles sur la base de l’hypothèse que certaines variables suivent une distribution gaussienne en utilisant l’algorithme de maximisation des attentes et un critère de division gaussienne qui permet de trouver avec précision l’amplitude d’un événement de dérive. Toutes nos contributions parviennent à détecter positivement les événements de dérive réels tout en ne détectant pas les dérives virtuelles. [...]

The widespread adoption of Artificial Intelligence has led the number of machinelearning (ML) models created and used in production to exponentially grow. The ability of ML models is constantly improving, thus allowing models to continuously reach new domains of application. The core definition of Concept Drift (CD) is of a change in data distribution. Several categories of drift exist based on amplitude, speed or recurrence. CD can appear naturally over the course of a long time period. An example is the way we travel: models used to estimate public transport delays will not perform well in ten years. CD can also be abrupt and promptly render predictive models obsolete, several examples can be found with the covid pandemic. As the probability that a model can be affected by CD increases with the model’s age, concept drift is becoming a common phenomenon that needs to be considered before a model is built. CD can be split into two main categories, real drift and virtual drift. Real drift is said to happen when a predictive model’s ability to correctly classify samples is negatively impacted by the distribution change. A drift is said to be virtual when the change of distribution has little to no impact on the model’s predictive performances. When a drift is virtual, it must not be detected. CD has received a lot of attention in the past few years. However, the focus of most of the research has been on detecting real drift when true labels or ground truth is known. Such algorithms are based on the premise that drift happens when the model’s predictions deteriorate. Various windowing techniques combined with statistical tests are applied to precisely find drift events. These methods can achieve almost perfect detection but do rely on the true labels to be available immediately after the inference phase. This is rarely the case in real world scenarii where class labels can take a long time to arrive or are never known. Some drift detecting algorithms work without requiring the true class labels, but often mistake virtual drift for real drift causing unnecessary and costly retraining. The focus of our work consists of creating drift detectors algorithms that do not require true labels to function while not mistakenly detect virtual drift as real drift. Thus, the contributions of the thesis are the following: (i) Partially Supervised Drift Detector (PSDD), an algorithm which partition the feature space using decision trees to find distribution changes using a statistical test; (ii) Real Drift Detector (RDD) improves PSDD by modifying the partitioning mechanism, applying several filters and by using different tests and by setting a user parameter that enables finer control over misdetections; (iii) Gaussian Split Detector (GSD), an algorithm that detects real drifts based on the assumption that some variables follow a Gaussian distribution using the Expectation Maximization algorithm and a Gaussian split criterion which enables to precisely find the amplitude of a drift event. All of our contributions manage to positively detect real drift events while not detecting virtual drift. Our contributions have been thoroughly tested against the state of the art on several drift datasets. Our testing methodology allowed us to evaluate real drift detection and on false positives created by virtual drift.