Nettoyage des données pour apprentissage automatique

Data Cleaning for ML

• Auteur / Autrice : Nikolaos Myrtakis
• Direction : Vassilis Christophides, Ioannis Tsamardinos
• Type : Projet de thèse
• Discipline(s) : Stic - ed em2psi
• Date : Inscription en doctorat le 01/02/2021
• Etablissement(s) : CY Cergy Paris Université en cotutelle avec Université de Crète
• Ecole(s) doctorale(s) : Ecole doctorale Économie, Management, Mathématiques , Physique et Sciences Informatiques (EM2PSI)
• Partenaire(s) de recherche : Laboratoire : Equipes Traitement de l'Information et Systèmes (Cergy-Pontoise, Val d'Oise)

Mots clés

Mots clés libres

Nettoyage pour ML

Diagnostic et explicabilité du modèle

Détection et réparation des erreurs dans les attributs et les étiquettes

Cleaning for ML

Model diagnostics and explainability

Detection and repair of errors in features and labels

Résumé

L'objectif principal du nettoyage automatisé des données est de renoncer au nettoyage non ciblé de toutes les données et valeurs qui n'affectent pas le modèle d'apprentissage automatique final, avant de transmettre les données aux algorithmes d'apprentissage dans une étape ultérieure indépendante. Au lieu de cela, l'objectif est de concevoir des algorithmes de nettoyage compatibles avec les modèles qui exploitent l'interaction avec les algorithmes d'apprentissage de modèles pour identifier à la fois les exemples de formation, ainsi que les fonctionnalités qui sont potentiellement «sales» et nécessitent une action de nettoyage. . Une fois que les exemples de formation et les valeurs de fonctionnalités à nettoyer ont été identifiés, concevoir des actions appropriées qui gèrent et réparent les valeurs éventuellement erronées. Il y a plusieurs défis et lacunes dans la compréhension théorique, algorithmique et technique à résoudre. L'approche actuelle du processus d'analyse présente les défis suivants: - L'ingénierie des données et la construction de modèles ont été traitées isolément par les deux communautés à l'aide d'étapes séquentielles indépendantes dans les pipelines d'analyse de données. Ainsi, des volumes potentiellement énormes de données sont nettoyés inutilement même lorsqu'ils ne participent pas à la formation du modèle final; de même, une pléthore d'entités est généralement construite même si elles n'ont pas de valeur prédictive et ainsi, elles ne seront pas sélectionnées par l'étape de sélection d'entités. - Le processus doit être répété par essais et erreurs à chaque nouvelle opération de nettoyage ou nouvelle idée de construction de fonctionnalités. Par conséquent, d'énormes volumes de données sont potentiellement extraits encore et encore de la base de données et le processus de modélisation est répété. Un point à souligner est que l'approche susmentionnée ferme la boucle manuellement et non automatiquement. - Le processus concerne toutes les données disponibles; il n'est donc pas évolutif au Big Data. Idéalement, on aimerait ne traiter (automatiquement) que les sous-ensembles de données qui suffisent aux algorithmes de ML pour prendre des décisions robustes Enfin, l'automatisation du pipeline de nettoyage des données pose un défi de taille. Ce défi réside dans les explications qu'un tel système devrait fournir aux analystes concernant ses décisions. Certaines des questions qu'un analyste peut se poser sont: pourquoi un certain exemple de l'ensemble de données a influencé de manière significative le modèle? pourquoi certains exemples ont été étiquetés comme anomalies et donc nettoyés?

The main objective of Automated Data Cleaning, is to forgo untargeted cleaning of all data and values that do not affect the final machine learning model, before feeding the data to the learning algorithms in a subsequent, independent step. Instead, the goal is to design Model-aware cleaning algorithms that exploit the inter-play with the model-learning algorithms to identify both the training examples, as well as the features that are potentially “dirty” and require some cleaning action to take place. Once the training examples and feature values to clean have been identified, to devise appropriate actions that handle and repair the possibly erroneous values. There are several challenges and gaps in theoretical, algorithmic, and engineering understanding to be addressed. The current approach to the analysis process presenting the following challenges: - Data Engineering and Model Building have been addressed in isolation by the two communities using independent, sequential steps in data analysis pipelines. Thus, potentially huge volumes of data are cleaned unnecessarily even when they do not participate in the training of the final model; similarly, a plethora of features is usually constructed even if they have no predictive value and thus, they will not be selected by the feature selection step. - The process needs to be repeated through trial-and-error with every new cleaning operation or new idea for feature construction. Hence, huge volumes of data are potentially extracted again and again from the database and the modelling process is repeated. A point to emphasize is that the aforementioned approach closes the loop manually not automatically. - The process concerns all available data; thus, it is not scalable to Big Data. Ideally, one would like to process (automatically) only the data subsets that suffice for the ML algorithms to make robust decisions Finally, there is a significant challenge posed by the automation of the data cleaning pipeline. This challenge is the explanations that such a system should provide to the analysts regarding its decisions. Some of the questions an analyst may ask are: why a certain example in the dataset influenced significantly the model ? why some examples were labelled as anomalies and therefore cleaned ?