Décomposition tensorielle et applications

par Elaheh Sobhani

Projet de thèse en Signal image parole telecoms

Sous la direction de Pierre Comon, Massoud Babaie-zadeh et de Christian Jutten.

Thèses en préparation à l'Université Grenoble Alpes en cotutelle avec Sharif University of Technology , dans le cadre de École doctorale électronique, électrotechnique, automatique, traitement du signal , en partenariat avec Grenoble Images Parole Signal Automatique (laboratoire) et de Communication and Information in Compex Systems (CICS) (equipe de recherche) depuis le 01-10-2018 .


  • Résumé

    La plupart des événements que l'on souhaite détecter sont multimodaux. La propriété multimodale permet d'observer différents aspects d'un phénomène. Cela se voit dans divers événements naturels (séismes, météo,...) et synthétiques (actualités, réseaux sociaux,...). Ce sont des variables cachées (latentes) qui relient ces données multimodales entre elles. Les modèles multi-vues sont utiles dans le contexte d'enregistrements multimodaux (tels que texte, audio et vidéo pour un événement particulier) et offrent un moyen d'améliorer l'estimation des caractéristiques de variables latentes présentes dans plusieurs enregistrements. À cet égard, ils sont liés à la fusion et à l'exploration de données. La fouille de données couvre un large éventail de méthodes et d'outils utilisés pour découvrir des connaissances à partir de données. Dans le contexte de données multimodales, l'extraction peut être considérée comme une estimation de variables latentes présentes dans plusieurs modalités. Les modèles multi-vues sont des outils utiles pour représenter les relations dans ce cadre. La quantité quotidiennement croissante de données textuelles disponibles en ligne soulève de nombreuses tâches difficiles, telles que l'apprentissage non supervisé ou le groupement automatique, qui peuvent être abordées par la fouille de texte. Dans cet esprit, les mots d'un document sont considérés comme des variables à vues multiples {x1, x2,. . . , xL} et leur sujet comme une variable cachée h. Par conséquent, l'objectif est d'estimer certains paramètres souhaités - par exemple, la probabilité d'une variable latente (sujet) et la probabilité conditionnelle de variables à vues multiples (mots) - à l'aide des données observées. Pour ce faire, nous utilisons la décomposition Canonique Polyadique (CP) non négative d'un tenseur de moment de troisième ordre de mots observés. Nos simulations sur ordinateur montrent que l'algorithme proposé présente de meilleures performances que celui proposé précédemment, qui utilise la méthode de la puissance tensorielle robuste, après blanchiment au second ordre. De plus, comme notre fonction de coût inclut la contrainte de non-négativité sur les probabilités estimées, nous n'obtenons jamais de valeurs négatives dans nos probabilités estimées, alors que c'est souvent le cas avec la méthode de la puissance itérée combinée à la déflation. De plus, notre algorithme est capable de gérer les cas dits sur-complets, où le nombre de variables cachées est supérieur à celui des variables à vues multiples, contrairement aux techniques basées sur la déflation. En outre, la méthode proposée dans ce document prend mieux en charge le cas sur-complet comparativement à des versions modifiées de la méthode de la puissance tensorielle adaptées pour traiter le cas sur-complet. A cet égard, nous focalisons notre attention sur les décompositions CP contraintes qui incluent des contraintes plus efficaces et plus générales adaptées au problème mentionné ci-dessus. Nous avons montré que cette décomposition tensorielle contrainte donne de meilleurs résultats que sans contrainte dans les problèmes d'identification de paramètres. La plupart des algorithmes de décomposition de tenseur sont basés sur l'algorithme des moindres carrés alternés (ALS), et pour la décomposition contrainte, il est nécessaire de résoudre une minimisation contrainte à chaque étape d'ALS. Au cours de la dernière décennie, plusieurs algorithmes ont été proposés pour la décomposition tensorielle contrainte (principalement non négative), notamment la méthode de direction alternée des multiplicateurs (ADMM), ou des méthodes proximales, pour gérer la contrainte. Bien que la méthode basée sur ADMM fonctionne efficacement dans divers cas, il n'y a aucune garantie de convergence pour cette méthode dans le cas de certaines contraintes non convexes, telle que cardinalité (parcimonie avec la quasi-norme L0). D'un autre côté, les méthodes proximales proposées jusqu'à présent souffrent du manque de précision attendue dans la décomposition, alors qu'il existe une preuve de convergence pour ces types de méthodes même en cas de non-convexité. Nous proposons un algorithme basé sur ALS pour la décomposition tensorielle contraints, qui utilise une méthode proximale particulière (Forward-Backward Splitting) pour gérer la contrainte. Nous appelons cet algorithme FBS4, qui signifie «Fractionnement avant-arrière avec initialisation intelligente pour les décompositions tensorielles CP sous contraintes de non-négativité, parcimonie ou Simplex ». FBS4 a théoriquement une longueur d'avance par rapport aux méthodes basées sur l'ADMM, car: (i) l'analyse de convergence fournie pour FBS4 reste valable pour les contraintes convexes et non convexes telles que la parcimonie; (ii) en pratique FBS4 permet de gérer un large éventail de contraintes comme la non-négativité, l'ensemble simplex et la parcimonie; (iii) les résultats informatiques montrent que FBS4 atteint des performances de pointe; (iv) L'algorithme FBS4 est plus simple et plus rapide par rapport aux autres algorithmes basés sur des approches proximales.

  • Titre traduit

    Tensor decomposition and applications


  • Résumé

    Most of desired events to be discovered admit the nature of multi-modality. Multi-modal property permits to observe different aspect of a phenomenon, which is namely multi-modal data. This can be seen in various natural (earthquakes, weather, . . . ) and synthetic (news, social networks, . . . ) events. The thing that relates and affects these multi-modal data together are hidden (latent) aspects which is called hidden (latent) variables. Multi-view models are useful in the context of multi-modal recordings (such as text, audio and video for a particular event), and offer a means to improve the estimation of particular features of latent variables that are present in several recordings. In this respect, they are related to data fusion and data mining. Data mining covers a wide range of methods and tools utilized for discovering knowledge from data. In the context of multi-modal data (e.g. text, audio and video for the same event), mining can be considered as the estimation of latent variables that are present in several modalities. Multi-view models are useful tools to represent the relationships in this framework. Daily increasing amount of text data available online have raised many challenging tasks such as unsupervised learning or clustering, which can be investigated by text mining. With this in mind, words in a document are considered as the multi-view variables {x1, x2, . . . , xL} and their topic as the hidden variable h. Therefore, the goal is to estimate some desired parameters (e.g. probability of latent variable (topic) and conditional probability of multi-view variables (words) given latent one) by observed data. To this end, we use non negative Canonical Polyadic (CP) decomposition of a third order moment tensor of observed words. Our computer simulations show that the proposed algorithm has better performance compared to a previously proposed algorithm, which utilizes the Robust tensor power method after whitening by second order moment. Moreover, as our cost function includes the non negativity constraint on estimated probabilities, we never obtain negative values in our estimated probabilities, whereas it is often the case with the power method combined with deflation. In addition, our algorithm is capable of handling over-complete cases, where the number of hidden variables is larger than that of multi-view variables, contrary to deflation-based techniques. Further, the method proposed therein supports a larger over-completeness compared to modified versions of the tensor power method, which has been customized to handle over-complete case. In this regard, we bring our attention to constrained CP decompositions which include more efficient and more general constraints suitable for the above mentioned problem. It has been shown that constrained tensor decomposition performs better than unconstrained in parameter identification problems. Most tensor decomposition algorithms are based on Alternating Least Squares (ALS), and for constrained decomposition it is needed to solve a constrained minimization in each step of ALS. Over the past decade, some algorithms based on ALS have been proposed for constrained (mostly non-negative) tensor decomposition, and applied Alternating Direction Method of Multipliers (ADMM) or proximal methods to handle the constraint. Although ADMM based method performs efficiently in various cases, there is no convergence guarantee for this method in case of some nonconvex constraint such cardinality (sparsity with $ell_0$ quasi-norm). On the other hand, proximal based methods proposed so far suffer from lack of expected accuracy in the decomposition, while there is a convergence proof for these kinds of methods even in case of non-convexity. We propose an algorithm based on ALS for constrained tensor decomposition, which utilizes a particular proximal method called Forward-Backward Splitting to handle the constraint. We call this algorithm FBS4, which stands for “Forward-Backward Splitting with Smart initialization for tensor CP decompositions under non-negativity, Sparsness or Simplex constraints”. FBS4 is theoretically one step ahead compared to ADMM-based methods,since: (i) the provided convergence analysis of FBS4 holds true for both convex and non-convex constraints such as sparsity; (ii) in practice FBS4 enables to manage a large range of constraints such as non-negativity, simplex set and sparsity; (iii) computer results show that FBS4 achieves state-of-the-art performances; (iv) FBS4 algorithm is simpler and faster compared to other algorithms based on proximal approaches.