Optimisation et analyse interactive de données : le Problème du Voyageur de Données

Optimisation and interactive data analysis: the Traveling Analyst Problem

• Auteur / Autrice : Alexandre Chanson
• Direction : Patrick Marcel, Vincent T'kindt
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 01/12/2023
• Etablissement(s) : Tours
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes (Centre-Val de Loire ; 2012-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique Fondamentale et Appliquée de Tours
• Jury : Président / Présidente : Laetitia Jourdan
• Jury : Examinateurs / Examinatrices : Patrick Marcel, Vincent T'kindt, Nicolas Labroche, Ladjel Bellatreche, Olivier Péton, Sofian Maabout
• Jury : Rapporteurs / Rapporteuses : Ladjel Bellatreche, Olivier Péton

Mots clés

Mots clés libres

Base de données

Recherche opérationnelle

Exploration interactive de données

Operational research

Databases

Exploratory data analysis

Résumé

Cette thèse contribue à l'automatisation de l'AED (analyse exploratoire des données). L'AED est un processus itératif qui consiste à analyser des données en effectuant des actions (telle qu'une requête sur des données), à recevoir le résultat et à décider de l'étape suivante. L'objectif final de l'AED est l'extraction de trouvailles, des fragments d'informations utiles étayées par les données. L'AED a été jusque-là un process principalement manuel, mais depuis quelques années la communauté de recherche en bases de données a entrepris de l'automatiser. L'automatisation de l'AED nécessite de surmonter plusieurs obstacles, dont notamment l'identification et la représentation des informations les plus intéressantes présentent dans une base de données. Dans cette thèse, nous abordons le problème de l'automatisation de l'AED par la construction d'une séquence de requêtes représentant des trouvailles pertinentes. Pour se faire nous introduisons et étudions le problème d'optimisation associé, nommé le problème du voyageur de données (TAP). Nous établissons la relation entre le TAP et une famille de problèmes de transport classiques appelés problèmes d'orientation. Nous étudions la structures des instances du TAP et identifions des critères de domination entre requêtes que nous proposons d'exploiter. Nous proposons différentes stratégies de résolution selon les tailles des bases de données, dont notamment des matheuristiques. Celles-ci tirent profit des solveurs mathématiques pour construire des solutions de haute qualité au TAP, notamment pour les bases de données de petite taille. En étudiant la littérature, nous avons identifié l'action de comparaison de données comme la principale activité des travailleurs de la donnée. Nous définissons formellement les trouvailles de comparaison et les requêtes de comparaison associées. Nous mettons en œuvre un prototype capable de construire les instances et de résoudre le TAP pour ces requêtes de comparaisons. A l'aide des heuristiques précédemment développées nous sommes en mesure d'appliquer notre méthode sur de grandes bases impliquant des millions de comparaisons. Pour les bases de données de plus grande taille, la simple construction des instances du TAP est une tâche complexe, nécessitant la mise en œuvre de plusieurs stratégies d'optimisation notamment pour exécuter des millions de tests statistiques rapidement. Ce process pouvant prendre des heures représente la majeure partie du temps de calcul total. Afin d'éviter ce processus, nous nous inspirons de la méthode de génération de colonnes. Nous introduisons la génération de requêtes, une technique capable de résoudre le TAP sans explorer l'ensemble des requêtes de comparaison associées à une base de données et donc éviter la majorité du coup de calcul. Nous montrons sur de grandes bases de données que ce process est non seulement plus rapide mais produit aussi de meilleures solutions que de construire la totalité de l'instance et de la résoudre à l'aide d'une heuristique traditionnelle.

This thesis contributes to the automation of EDA (exploratory data analysis). EDA is the iterative process of performing an action (such as a query on data), receiving the result, and deciding on the next step. The final goal of EDA is the extraction of insights, fragments of useful information justified by the data. Automating EDA requires overcoming several hurdles, notably identifying and correctly presenting the most interesting insights from a database. In this thesis, we address the problem of constructing a sequence of queries representing relevant insights. We introduce and study the associated optimization problem, called the traveling analyst problem (TAP). We establish the relation between TAP and a family of classic transport problems named orienteering problems. Surveying the literature, we identify the comparison task as the main staple of data workers. We formally define the associated comparison insights and comparison queries. We propose different solution strategies for small and large databases. They include matheuristics, a recent development in the operation research community. Matheuristics take advantage of mathematical solvers in their construction. They proved capable of producing high-quality solutions to the TAP for small-size databases. For large-size databases, we first tackled the challenging construction of the TAP instances, requiring several optimization strategies to execute millions of statistical tests in less than an hour. Finally, we take inspiration from the process of column generation. We introduce query generation, a method that is capable of solving the TAP without exploring the full set of comparison queries associated with a database.