Amélioration de la qualité des données : correction sémantique des anomalies inter-colonnes

Improved data quality : correction of semantic inter-column anomalies

• Auteur / Autrice : Houda Zaidi
• Direction : Yann Pollet, Naoufel Kraiem, Faouzi Boufares
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 01/02/2017
• Etablissement(s) : Paris, CNAM en cotutelle avec École Nationale des Sciences de l'Informatique (La Manouba, Tunisie)
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Centre d'études et de recherche en informatique et communications (Paris) - Laboratoire RIADI (La Manouba)
• Jury : Président / Présidente : Kamel Barkaoui
• Jury : Examinateurs / Examinatrices : Rébecca Deneckere, Alain Cardon
• Jury : Rapporteurs / Rapporteuses : Christophe Cérin, Minyar Sassi Hidri

Mots clés

Mots clés contrôlés

Analyse des données

Qualité -- Contrôle

Informatique

Mots clés libres

Qualité de données

Dépendances fonctionnelles

Dépendances sémantiques

Valeurs nulles

Nettoyage de données

Grosses bases de données

Data Quality

Functional dependencies

Semantic dependencies

Null values

Data cleaning

Big Data

Résumé

La qualité des données présente un grand enjeu au sein d'une organisation et influe énormément sur la qualité de ses services et sur sa rentabilité. La présence de données erronées engendre donc des préoccupations importantes autour de cette qualité. Ce rapport traite la problématique de l'amélioration de la qualité des données dans les grosses masses de données. Notre approche consiste à aider l'utilisateur afin de mieux comprendre les schémas des données manipulées, mais aussi définir les actions à réaliser sur celles-ci. Nous abordons plusieurs concepts tels que les anomalies des données au sein d'une même colonne, et les anomalies entre les colonnes relatives aux dépendances fonctionnelles. Nous proposons dans ce contexte plusieurs moyens de pallier ces défauts en nous intéressons à la performance des traitements ainsi opérés.

Data quality represents a major challenge because the cost of anomalies can be very high especially for large databases in enterprises that need to exchange information between systems and integrate large amounts of data. Decision making using erroneous data has a bad influence on the activities of organizations. Quantity of data continues to increase as well as the risks of anomalies. The automatic correction of these anomalies is a topic that is becoming more important both in business and in the academic world. In this report, we propose an approach to better understand the semantics and the structure of the data. Our approach helps to correct automatically the intra-column anomalies and the inter-columns ones. We aim to improve the quality of data by processing the null values and the semantic dependencies between columns.