Analyse des flux de données de signaux et d'images : du sous-espace au suivi tensoriel

Signal and image data stream analytics : from subspace to tensor tracking

• Auteur / Autrice : Trung Thanh Le
• Direction : Karim Abed-Meraim, Adel Hafiane
• Type : Thèse de doctorat
• Discipline(s) : Informatique. Traitement du signal
• Date : Soutenance le 20/10/2022
• Etablissement(s) : Orléans
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes (Centre-Val de Loire)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Pluridisciplinaire de recherche en ingénierie des systèmes, mécanique et énergétique (Orléans ; 2008-....)
• Jury : Président / Présidente : Philippe Ravier
• Jury : Examinateurs / Examinatrices : Nguyen-Linh Trung, Roland Badeau, Rémy Boyer
• Jury : Rapporteurs / Rapporteuses : Laurent Albera, Mohammed Nabil El Korso

Mots clés

Mots clés contrôlés

Décomposition (méthode mathématique)

Calcul tensoriel

Données massives

Analyse des données

Architecture dataflow

Mots clés libres

Approximation de rang inférieur (LRA)

Analyse de sous-espace

Décomposition du tenseur

Low-rank approximation (LRA)

Subspace analysis

Tensor decomposition

Résumé

Le traitement des flux a récemment attiré l'attention du monde universitaire et de l'industrie, car les flux de données massives ont été de plus en plus collectés au fil des ans. Cette thèse se concentre principalement sur l'étude de l'un des problèmes les plus fondamentaux du traitement des flux, l'approximation de rang inférieur (LRA) des flux de données en ligne. Lorsque les échantillons de données arrivant à chaque pas de temps sont unidimensionnels, le problème de LRA en ligne est techniquement appelé suivi de sous-espace. Il s'agit d'un suivi tensoriel lorsque le flux de données est multidimensionnel. Pour le suivi du sous-espace, nous avons proposé deux nouveaux algorithmes pour suivre le sous-espace sous-jacent des flux de données dans deux scénarios spécifiques. Pour traiter les valeurs aberrantes clairsemées et les données manquantes, un algorithme efficace de suivi de sous-espace en deux étapes a été développé, à savoir PETRELS-ADMM. L'algorithme proposé est basé sur la méthode de direction alternée des multiplicateurs et des techniques de filtrage récursif des moindres carrés. Le deuxième algorithme appelé OPIT a été spécifiquement conçu pour suivre le sous-espace principal clairsemé dans les grandes dimensions. Plus précisément, OPIT introduit une nouvelle variante adaptative d'itération de puissance et un nouvel opérateur de seuillage basé sur des colonnes. Les deux algorithmes proposés appartiennent à la classe des méthodes de suivi prouvables avec une garantie de convergence. Pour le suivi des tenseurs, nous avons développé plusieurs nouveaux algorithmes pour suivre le LRA en ligne des tenseurs de streaming au fil du temps. Sous le format CP/PARAFAC, nous exploitons les techniques alternatives de minimisation et d'esquisse aléatoire pour développer ACP et RACP qui sont capables de factoriser des tenseurs incomplets et des tenseurs corrompus, respectivement. Sous le format Tucker, nous avons proposé un autre algorithme en ligne appelé ATD. ATD suit d'abord les sous-espaces de faible dimension sous-jacents couvrant les facteurs tensoriels, puis estime le tenseur central à l'aide d'une approximation stochastique {a}. Une analyse de convergence unifiée a été présentée pour justifier leur performance. En parallèle, il est bien connu que le format tenseur-train offre une représentation économe en mémoire et peut briser la malédiction de la dimensionnalité. En conséquence, nous avons conçu trois nouveaux algorithmes pour la décomposition en continu des trains de tenseurs. Le premier algorithme appelé TT-FOA est capable de suivre avec une grande précision les composantes de rang inférieur des tenseurs d'ordre élevé à partir de données bruitées et de grande dimension, même lorsqu'elles proviennent d'observations dépendant du temps. Le deuxième algorithme appelé ATT est spécifiquement conçu pour gérer les tenseurs de flux incomplets. Enfin, pour traiter les valeurs aberrantes éparses, nous avons proposé le soi-disant ROBOT. Techniquement, ROBOT a la capacité de suivre les tenseurs de flux à partir de flux imparfaits (c'est-à-dire en raison du bruit, des valeurs aberrantes et des données manquantes) ainsi que d'estimer leur variation temporelle dans des environnements dynamiques. En conclusion, notre étude apporte plusieurs nouvelles contributions à l'analyse des flux de données massives en général et au problème des LRA en ligne. Il s'agit de nouveaux outils d'analyse permettant de suivre efficacement les flux de données de LRA en ligne, des observations unidimensionnelles aux observations multidimensionnelles dans différents contextes. Par conséquent, ils devraient faire un pas en avant dans les applications en ligne du monde réel.

Stream processing has recently attracted much attention from both academia and industry since massive data streams have been increasingly collected over the years. This thesis focuses on investigating the problem of online low-rank approximation (LRA) of data streams over time. When data samples are one-dimensional, the online LRA problem is referred to as subspace tracking. It turns out to be tensor tracking when streaming data are multi-dimensional.For subspace tracking, we proposed two novel algorithms for tracking the underlying subspace of data streams under two specific scenarios. To deal with sparse outliers and missing data, an effective two-stage subspace tracking algorithm was developed, namely PETRELS-ADMM. The proposed algorithm is based on the alternating direction method of multipliers and recursive least-squares filtering techniques. The second algorithm called OPIT was specifically designed for tracking the sparse principal subspace in high dimensions. Specifically, OPIT introduces a new adaptive variant of power iteration and a new column-based thresholding operator. Both two proposed algorithms belong to the class of provable tracking methods with a convergence guarantee.For tensor tracking, we developed several new algorithms for tracking the online LRA of streaming tensors over time. Under the CP/PARAFAC format, we leverage the alternative minimization and randomized sketching techniques to develop ACP and RACP which are capable of factorizing incomplete tensors and corrupted tensors, respectively. Under the Tucker format, we proposed another online algorithm called ATD. ATD first tracks the underlying low-dimensional subspaces covering the tensor factors, and then estimates the core tensor using {a} stochastic approximation. A unified convergence analysis was presented to justify their performance. In parallel, it is well-known that the tensor-train format offers a memory-saving representation and can break the curse of dimensionality. Accordingly, we designed three new algorithms for streaming tensor-train decomposition. The first algorithm called TT-FOA is capable of tracking the low-rank components of high-order tensors from noisy and high-dimensional data with high accuracy, even when they come from time-dependent observations. The second algorithm called ATT is specifically designed for handling incomplete streaming tensors. Finally, to deal with sparse outliers, we proposed the so-called ROBOT. Technically, ROBOT has the ability to track streaming tensors from imperfect streams (i.e., due to noise, outliers, and missing data) as well as estimate their time variation in dynamic environments.In conclusion, our study provides several novel contributions to big data stream analytics in general and the online LRA problem in particular. They are new analysis tools allowing to effectively track the online LRA of data streams from one-dimensional to multi-dimensional observations in different settings, and thus, they are expected to take a step forward real-world online applications.