Vers un solveur tensoriel parallèle rapide basé sur les tâches pour les problèmes de haute dimension

Towards a fast task-based parallel tensor solver for high dimensional problems

• Auteur / Autrice : Atte Torri
• Direction : Olivier Coulaud
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/12/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Equipe de recherche : ParSys - Systèmes Parallèles
• Partenaire(s) de recherche : Référent : Ecole Normale Supérieure Paris-Saclay

Mots clés

Mots clés libres

Calcul haute performance

Algèbre multilinéaire

Décompositions tensorielles

Parallélisme basé sur tâches

High performance computing

Multi-linear algebra

Tensor decompositions

Task-based parallelism

Résumé

Les tenseurs ont acquis une immense popularité ces dernières années en raison de leur aptitude à exprimer naturellement des données de haute dimension dans des applications fondamentales de nombreux domaines, notamment le traitement du signal, la chimie/physique quantique, le calcul scientifique, l'analyse des données massives et l'apprentissage automatique. En particulier, les méthodes tensorielles ont été employées avec beaucoup de succès dans la résolution de systèmes linéaires de haute dimension et de problèmes de valeurs propres survenant dans des applications de calcul quantique, en raison de leur aptitude à compresser efficacement ces opérateurs de haute dimension en utilisant ce qu'on appelle des décompositions tensorielles. Cependant, l'utilisation de ces techniques sur des problèmes à grande échelle nécessite des algorithmes parallèles rapides et des bibliothèques de solveurs tensoriels efficaces, ce qui est un besoin imminent dans ce domaine. L'objectif de cette thèse est de répondre à ce besoin en développant un cadre de solveur tensoriel évolutif qui traite ces problèmes de haute dimension à l'échelle sur des architectures HPC hétérogènes modernes. La thèse se concentrera sur la recherche de structures de données efficaces pour exprimer des opérateurs (matrices) et des opérandes (vecteurs) de haute dimension sous forme tensorielle, sur la conception de schémas de distribution de données intelligents pour l'exécution parallèle et sur une parallélisation efficace de la plupart des opérations tensorielles en utilisant un paradigme de programmation basé sur les tâches qui peut tirer parti de la pleine puissance de calcul des clusters de calcul hétérogènes modernes. Tous les travaux de thèse seront intégrés dans la bibliothèque de tenseurs Celeste en cours de développement dans le cadre du projet ANR JCJC SELESTE.

Tensors have gained an immense popularity in the recent past owing to their aptitude for naturally expressing highdimensional data in fundamental applications from numerous domains including signal processing, quantum chemistry/physics, scientific computing, big data analysis, and machine learning. In particular, tensor methods have been employed with great success in the solution of high dimensional linear systems and eigenvalue problems arising in quantum computing applications, owing to their aptitude to compress these high dimensional operators effectively using what is called tensor decompositions. However, leveraging these techniques on large-scale problems requires fast parallel algorithms and efficient tensor solver libraries, which is an imminent need in this domain.The goal of this thesis is to address this need by developing a scalable tensor solver framework that handle such high dimensional problems at scale on modern heterogenous HPC architectures. The thesis will focus on investigating efficient data structures for expressing high dimensional operators (matrices) and operands (vectors) in tensor form,devising intelligent data distribution schemes for parallel execution and an effective parallelization of most tensor operations using a task-based programming paradigm that can leverage the full compute power of modern heterogenous compute clusters. All thesis work will be integrated into the Celeste tensor library in development in the context ofthe ANR JCJC SELESTE project.