Algorithmes en précision mixte pour des approximations de rang faible de matrices et tenseurs

Mixed precision algorithms for low-rank matrix and tensor approximations

• Auteur / Autrice : Matthieu Robeyns
• Direction : Marc Baboulin
• Type : Projet de thèse
• Discipline(s) : Informatique
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Equipe de recherche : ParSys - Systèmes Parallèles
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Examinateurs / Examinatrices : Rio Yokota, Anthony Nouy, Boldo Sylvie, Mariya Ishteva, Emmanuel Agullo
• Jury : Rapporteur / Rapporteuse : Rio Yokota, Anthony Nouy

Mots clés

Mots clés libres

Calcul en précision mixte

Approximation de rang faible

Calcul tensoriel

Réduction de données

Calcul haute performance

Mixed precision computation

Low-rank approximation

Tensor computations

Data reduction

High performance computing

Résumé

La gestion des données est souvent réalisée par des objets mathématiques tels que les matrices et les tenseurs, qui sont la généralisation des matrices à plus de deux dimensions. Certains domaines d'application nécessitent de stocker trop d'éléments, créant des tenseurs trop grands ; ce problème est connu sous le nom de emph curse of dimensionality. Des méthodes mathématiques telles que les approximations de rang faible ont été développées pour réduire la dimensionnalité de ces objets malgré un coût très élevé en temps de calcul. De plus, de nouvelles architectures informatiques telles que les GPU nous permettent d'effectuer des calculs rapidement, notamment lors de calculs en faible précision. Combiner ces nouvelles architectures avec l'approximation de rang faible est une solution malgré la qualité des résultats altérée par la faible précision. Cette thèse vise à proposer des algorithmes d'approximation de rang faible stables en faible précision tout en conservant l'accélération inhérente au calcul en faible précision, ce qui est réalisable grâce au calcul en précision mixte. Nous avons développé une méthode générale d'approximation de tenseurs en précision mixte en calculant d'abord une approximation en faible précision et en l'affinant itérativement avec une précision supérieure pour maintenir la qualité du résultat. Sachant que cette accélération provient principalement des architectures GPU, plus précisément d'unités de calcul spécialisées appelées emph tensor cores, nous avons développé une méthode générale d'approximation matricielle pour les architectures GPU en précision mixte utilisant ces emph tensor cores. Notre méthode maintient la qualité du résultat, mais au prix d'une approximation de dimension supérieur à celle des applications standards. Pour compenser cet écart, des méthodes de recompression de dimension existent pour différents formats de tenseurs. Notre contribution finale propose une méthode de recompression englobant les différents formats de tenseurs et de matrices tout en prouvant analytiquement sa stabilité.

Data management is often done by mathematical objects such as matrices and tensors, which are the generalization of matrices to more than two dimensions. Some application domains require too many elements to be stored, creating tensors too large; this problem is known as the emph curse of dimensionality. Mathematical methods such as low-rank approximations have been developed to reduce the dimensionality of these objects despite a very high cost in computation time. Moreover, new computer architectures such as GPUs allow us to perform computations quickly, especially when computing with low precision. Combining these new architectures with low-rank approximation is a solution despite the quality of the results being impaired by low precision. This thesis aims to propose low-rank approximation algorithms that are stable in low precision while maintaining the speedup inherent in low-precision computation, which is feasible thanks to mixed-precision computation. We have developed a general method for mixed-precision tensor approximation by first computing a low-precision approximation and iteratively refining it with higher precision to maintain the quality of the result. Knowing that this speedup comes mainly from GPU architectures, more precisely from specialized computing units called emph ensor cores, we have developed a general matrix approximation method for mixed-precision GPU architectures using these emph tensor cores. Our method maintains the quality of the result but at the expense of a higher-dimensional approximation than standard applications. To compensate for this gap, dimension recompression methods exist for different tensor formats. Our final contribution proposes a recompression method encompassing the different tensor and matrix formats while proving analytically its stability.