Algorithmes parallèles pour le calcul des décompositions de rang faible des matrices et tenseurs

Parallel algorithms for computing low rank decompositions of matrices and tensors

• Auteur / Autrice : Matthias Beaupère
• Direction : Laura Grigori
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 23/03/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jacques-Louis Lions (Paris ; 1997-....)
• Jury : Président / Présidente : Frédéric Nataf
• Jury : Examinateurs / Examinatrices : Grey Ballard, Virginie Ehrlacher, Bora Uçar
• Jury : Rapporteur / Rapporteuse : Julien Langou, Olivier Beaumont

Mots clés

Mots clés contrôlés

Approximations de rang faible

Calcul tensoriel

Analyse numérique matricielle

Mots clés libres

Approximation de rang faible

Algèbre linéaire numérique

Tenseurs

Compression de matrices

Low rank approximation

Numerical linear algebra

Tensors

Matrix compression

Résumé

Les matrices et tenseurs figurent parmi les outils les plus répandus de représentation et d’exploitation de l’information. Certaines sources produisent de grandes quantités de données, et déterminer l’information précise présente dans ces données est primordial au sein d’un grand nombre de domaines. D’une autre façon, les simulations numériques produisent parfois des objets très grands comparés à la quantité d’information réelle présente dans le système simulé, comprimer cette information permettrait alors d’effectuer une simulation efficace et peu coûteuse. Pour mettre en place cette simplification, nous considérons les méthodes d’algèbre linéaire telles que la décomposition en valeurs singulières (SVD) ainsi que la décomposition QR. Elles s’appliquent sur tout type de matrices et fournissent des indices sur l’organisation de l’information, ainsi que des outils efficaces pour les manipuler, comme l’approximation de rang faible. L’approximation de rang faible permet de compresser des matrices de grande taille dans un format réduit, avec ou sans perte. Elle représente la matrice d’entrée comme un produit de matrices plus petites, pouvant être vues comme la projection de la matrice dans un sous-espace, selon deux principes: le sous-espace est de faible dimension; l’information perdue lors de la projection est moindre. La perte d’information correspond ici à l’erreur entre la matrice originale et son approximation. Ces deux principes antagonistes conduisent au double problème de minimisation sous-jacent: d’une part en fixant la taille du sous-espace et en minimisant l’erreur; d’autre part en fixant une contrainte d’erreur et en minimisant la taille du sous-espace. Si ces méthodes sont facilement applicables à une échelle raisonnable au moyen d’un ordinateur moderne, elle deviennent difficiles à utiliser sur des matrices de grande tailles, en particulier dépassant l’espace mémoire de l’ordinateur. De nos jours, il est de plus en plus courant de manipuler de telles matrices en sciences des données ou en simulation, et un grand nombre de méthodes des deux dernières décennies permettent de s’y adapter. De telles méthodes suggèrent la division de la matrice (ou du tenseur) sur plusieurs processeurs associés en centre de calcul, et le calcul de l’approximation en parallèle. Le but est alors d’obtenir avec plusieurs ordinateurs une décomposition qui ressemble au mieux à celle calculée par un unique ordinateur. L’échange d’information est autorisé entre les nœuds, mais devrait rester minimal car la communication est la principale cause de ralentissement lors du passage à grande échelle. Cette thèse vise à présenter de nouvelles méthodes parallèles diminuant plus encore le coût des calculs et des communications. Ces nouvelles méthodes permettent de manipuler des matrices de grande taille plus efficacement, économisant de l’espace de stockage et du temps. De plus, elles résument l’information contenue dans une matrice, fournissant une vue interne et découvrant la structure des données. Pour beaucoup d’applications, les données sont fonction de nombreuses variables, alors représentées par un tableau multidimensionnel, un tenseur. Ce document développe cet aspect en orientant une partie de l’étude vers le domaine tensoriel.

Matrices and tensors are amongst the most common tools to represent and exploit information. Some sources produce large quantities of data, and analyzing the information provided by this data is important in many domains. Additionally, numerical simulations sometimes produce objects that are very large compared to the actual quantity of information residing in the simulated system, and compressing these objects yields efficient and cost-saving simulations. To achieve this compression, we consider linear algebra methods such as the singular value decomposition (SVD) and the QR decomposition. They apply on any matrix and provide hints on the information to compress as well as efficient tools to manipulate it, such as the low rank approximation. The low rank approximation compresses large matrices into a smaller format, with or without loss of information. It represents the input matrix as a product of factor matrices of smaller dimension, equivalently seen as projecting the matrix into a subspace with two principles: the subspace is small; little information is lost from the matrix---the loss of information is quantified as an error between the matrix and its approximation. This can be formulated as a double minimization problem, tackled from two possible angles: either by fixing the subspace size and minimizing the error, or by fixing an error constraint and minimizing the subspace size. Applications of low rank approximation are multiple, in many domains where valuable information is sought from a large amount of (often redundant) input data. If these methods are quite easy to use at reasonable scale with a modern laptop, they can be more difficult to apply at larger scale especially when the matrix does not fit entirely in the laptop's memory. Such large matrices occur more and more in modern simulations and data science, and various methods were presented in the last two decades addressing this problem. These methods propose to divide the matrix (or tensor) across several computers, associated in a computing cluster, and perform the decomposition in parallel. The goal is to obtain, with multiple computers, a decomposition that resembles as much as possible the decomposition obtained on a single computer. Communication is allowed between the nodes, but should be kept minimal, as it is the main factor of inefficiency at large scale. This thesis introduces novel parallel methods, further decreasing communication and computational cost with respect to existing algorithms. These new methods enable to manipulate very large matrices more efficiently, saving storage and time. As an additional benefit, they summarize the information contained in matrices, unveiling mathematical properties such as the column and row spaces of the matrix. For many applications, the data is a function of many variables, hence represented as a multidimensional array, a tensor. This document addresses this aspect by directing part of the analysis toward the higher dimension domain.