Recherche de similarité de longueur variable pour l’analyse de grandes séries temporelles : appariement de séquences, recherche de motifs et anomalies

Variable-length similarity search for very large data series : subsequence matching, motif and discord detection

• Auteur / Autrice : Michele Linardi
• Direction : Themis Palpanas
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/08/2019
• Etablissement(s) : Sorbonne Paris Cité
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique Paris Descartes (LIPADE)
• Partenaire(s) de recherche : établissement de préparation : Université Paris Descartes (1970-2019)
• Jury : Président / Présidente : Johann Gamper
• Jury : Examinateurs / Examinatrices : Johann Gamper, Panagiotis Papapetrou, Élisa Fromont, Ioana Ileana
• Jury : Rapporteurs / Rapporteuses : Johann Gamper, Panagiotis Papapetrou

Mots clés

Mots clés contrôlés

Détection des anomalies (informatique)

Analyse des données

Séries chronologiques

Mots clés libres

Série de données

Recherche de similarité

Longueur variable

Lower-bounding

Subsequence matching

Recherche de motifs

Recherche d’anomalies

Data series

Similarity search

Variable length

Lower-bounding

Subsequence matching

Motif discovery

Discord discovery

Résumé

Les séries de données ou série chronologique (suite de valeurs numériques représentant l’évolution d’une quantité) sont devenues l’un des types de données les plus importants et les plus populaires, omniprésents dans presque tous les domaines scientifiques. Au cours des deux dernières décennies, mais de manière encore plus évidente au cours de cette dernière période, l’intérêt porté à ce type de données s’accroît rapidement. La raison en est principalement due aux récents progrès des technologies de détection, de mise en réseau, de traitement de données et de stockage, qui ont considérablement aidé le processus de génération et de collecte de grandes quantités de séries de données. La recherche de similarité de séries de données est devenue une opération fondamentale au cœur de plusieurs algorithmes d’analyse et applications liées aux collections de séries de données. De nombreuses solutions à différents problèmes d’exploration de données, telles que le regroupement (clustering), la mise en correspondance des sous-séquences (subsequence matching), l’imputation des valeurs manquantes (imputation of missing values), la découverte de motifs (motif discovery) et la détection d’anomalies (discord discovery) sont basés sur l’utilisation de la recherche de similarité. À cet égard, toutes les solutions sur mesure pour les problèmes susmentionnés nécessitent la connaissance préalable de la longueur de la série, sur laquelle une recherche de similarité est effectuée. Dans ce scénario, l’utilisateur doit connaître la longueur des résultats attendus, ce qui est souvent une hypothèse irréaliste. Cet aspect est donc très important. Dans plusieurs cas, la longueur est un paramètre critique qui influence sensiblement la qualité du résultat final. En détail, nous avons noté que les index de séries de données permettent d’effectuer une recherche de similarité rapide. Néanmoins, tous les index existants ne peuvent répondre qu’aux requêtes d’une seule longueur (fixées au moment de la construction de l’index), ce qui constitue une limite sévère. Dans cette thèse, nous proposons d’abord ULISSE, le premier index de série de données conçue pour répondre aux requêtes de recherche de similarité de longueur variable. Notre contribution est double. Premièrement, nous introduisons une nouvelle technique de représentation, qui résume efficacement et succinctement plusieurs séquences de différentes longueurs. Sur la base de l’index proposé, nous décrivons des algorithmes efficaces pour la recherche de similarité approximative et exacte, combinant des visites d’index sur disque et des analyses séquentielles en mémoire. Notre approche prend en charge les séquences non normalisées et normalisées, et peut être utilisée sans modification avec la distance Euclidienne et la déformation temporelle dynamique (DTW), pour répondre aux requêtes de type : κ-NN et ε-range. Nous évaluons notre approche de manière expérimentale en utilisant plusieurs jeux de données synthétiques et réels. Les résultats montrent que ULISSE s’est révélé de nombreuse fois plus efficace en termes de coût d’espace et de temps, par rapport aux approches concurrentes. Par la suite, nous introduisons un nouveau framework, qui fournit un algorithme de recherche exacte de motifs (séquences fréquentes) et d’anomalies, qui trouve efficacement tous les motifs et les anomalies de tailles différentes. L’évaluation expérimentale que nous avons effectuée sur plusieurs ensembles de données réelles montre que nos approches sont jusqu’à des ordres de grandeur plus rapides que les alternatives. Nous démontrons en outre que nous pouvons supprimer la contrainte irréaliste d’effectuer des analyses en utilisant une longueur prédéfinie, ce qui conduit à des résultats plus intuitifs et exploitables, qui auraient autrement été manqués.

Data series (ordered sequences of real valued points, a.k.a. time series) has become one of the most important and popular data-type, which is present in almost all scientific fields. For the last two decades, but more evidently in this last period the interest in this data-type is growing at a fast pace. The reason behind this is mainly due to the recent advances in sensing, networking, data processing and storage technologies, which have significantly assisted the process of generating and collecting large amounts of data series. Data series similarity search has emerged as a fundamental operation at the core of several analysis tasks and applications related to data series collections. Many solutions to different data mining problems, such as Clustering, Subsequence Matching, Imputation of Missing Values, Motif Discovery, and Anomaly detection work by means of similarity search. Data series indexes have been proposed for fast similarity search. Nevertheless all existing indexes can only answer queries of a single length (fixed at index construction time), which is a severe limitation. In this regard, all solutions for the aforementioned problems require the prior knowledge of the series length, on which similarity search is performed. Consequently, the user must know the length of the expected results, which is often an unrealistic assumption. This aspect is thus of paramount importance. In several cases, the length is a critical parameter that heavily influences the quality of the final outcome. In this thesis, we propose scalable solutions that enable variable-length analysis of very large data series collections. We propose ULISSE, the first data series index structure designed for answering similarity search queries of variable length. Our contribution is two-fold. First, we introduce a novel representation technique, which effectively and succinctly summarizes multiple sequences of different length. Based on the proposed index, we describe efficient algorithms for approximate and exact similarity search, combining disk based index visits and in-memory sequential scans. Our approach supports non Z-normalized and Z-normalized sequences, and can be used with no changes with both Euclidean Distance and Dynamic Time Warping, for answering both κ-NN and ε-range queries. We experimentally evaluate our approach using several synthetic and real datasets. The results show that ULISSE is several times, and up to orders of magnitude more efficient in terms of both space and time cost, when compared to competing approaches. Subsequently, we introduce a new framework, which provides an exact and scalable motif and discord discovery algorithm that efficiently finds all motifs and discords in a given range of lengths. The experimental evaluation we conducted over several diverse real datasets show that our approaches are up to orders of magnitude faster than the alternatives. We moreover demonstrate that we can remove the unrealistic constraint of performing analytics using a predefined length, leading to more intuitive and actionable results, which would have otherwise been missed.