Résolution de systèmes linéaires de grande taille avec un nombre massif de second-membres et apprentissage

Solution of large linear systems with a massive number of right-hand sides and machine learning

• Auteur / Autrice : Yan-Fei Xiang
• Direction : Luc Giraud, Paul Mycek
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Soutenance le 07/12/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique - Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux)
• Jury : Président / Présidente : Eric de Sturler
• Jury : Examinateurs / Examinatrices : Carola Kruse, Jayant Sengupta, Michaël Bauerheim, Stéphane Lanteri
• Jury : Rapporteur / Rapporteuse : Eric de Sturler, Andreas Frommer

Mots clés

Mots clés contrôlés

Calcul intensif (informatique)

Systèmes linéaires -- Solutions numériques

Apprentissage profond

Apprentissage automatique

Mots clés libres

Procédé sous - spatial de Krylov

Algèbre liénaire numérique

Apprentissage automatique

Apprentissage profond

Recyclage de sous-Espace

Détection de convergence partielle

Krylov subspace method

Numerical linear algebra

Machine learning

Deep learning

Subspace recycling

Partial convergence detection

Résumé

Ce travail se concentre sur la résolution itérative de grands systèmes linéaires avec des second-membres multiples qui apparaissent dans diverses applications scientifiques. Lorsque de multiples second-membres doivent être résolus, les variantes par blocs des méthodes du sous-espace de Krylov sont les méthodes de choix. La mise en œuvre de l’algorithme des blocs permettant l’utilisation de noyaux de calcul efficaces de type BLAS-3, le temps de résolution devrait être réduit. Malheureusement, ces avantages potentiels se font au prix de difficultés numériques induites par l’éventuelle différence de vitesse de convergence des second-membres. Cette caractéristique numérique est appelée convergence partielle. Pour les séquences de systèmes linéaires non symétriques, dans le chapitre 2, nous développons une nouvelle approche de résidu de norme minimale par bloc qui combine deux ingrédients principaux. Le premier composant exploite les idées de la méthode GCRO-DR, ce qui nous permet de recycler les informations spectrales d’un système linéaire à un autre. Le deuxième composant est le mécanisme numérique de gestion de la convergence partielle desecond-membres appelé mécanisme de détection breakdown incomplet dans la méthode IB-BGMRES. Étant donné que le problème de la convergence partielle se pose dans tous les types de solveurs de Krylov par blocs, dans le chapitre 3, nous étendons ce mécanisme à la variante par blocs de la méthode du résidu conjugué, une approche de résidu de norme minimale à récurrence courte pour des systèmes symétrique indéfini. Ensuite, inspirés par l’idée de réutiliser l’information spectrale afin d’accélérer la convergence, nous concevons au chapitre 4 une stratégie de recyclage du sous-espace correspondant. Plus précisément, nous appliquons les idées de “thick-restart’, introduites dans la méthode de Lanczos pour le calcul des paires propres, dans l’algorithme du gradient conjugué par blocs (BCG) pour les systèmes linéaires symétriques définis positifs. Nous étudions également la possibilité d’utiliser la détection de convergence partielle dans BCG. Enfin, ces stratégies de détection de convergence partielle et de recyclage du sous-espace peuvent être combinées efficacement pour concevoir un algorithme de gradient conjugué par blocs déflatés pour les séquences de systèmes linéaires définis positifs symétriques. Une voie alternative aux approches traditionnelles d’algèbre linéaire numérique mentionnées ci-dessus consiste à envisager l’utilisation des techniques d’apprentissage automatique. Dans le chapitre 5, nous présentons quelques façons d’hybrider les nouveaux solveurs d’apprentissage profond et les techniques d’algèbre linéaire numérique plus traditionnelles afin qu’ils puissent bénéficier les uns des autres. Dans le contexte de la résolution d’une équation de Helmholtz hétérogène, nous nous concentrons d’abord sur l’introduction de certains ingrédients mathématiques d’un solveur itératif classique dans la phased’apprentissage d’un solveur de réseau profond de neurones récemment proposé. Le principal avantage estune amélioration significative de la phase d’apprentissage, plus robuste et plus rapide, qui s’avère également applicable au processus de test. En outre, une fois que les réseaux ont été correctement entrainés, leurs inférences peuvent être appliquées comme préconditionneur non linéaire dans la méthode GMRES flexible traditionnelle. Cette partie démontre que ces variantes hybrides présentent des avantages évidents par rapport à la fois à l’approche récemment introduite et au solveurs itératifs classiques de sous-espaces, tant en termes de coût de calcul que de précision des résultats.

This work focus on the iterative solution of large linear systems with multiple right-hand sidesthat appear in various scientific applications. When multiple right-hand sides have to be solved, blockvariants of Krylov subspace methods are the methods of choice. Because the block algorithm implementation enables the use of efficient BLAS-3 like computational kernels, the time for solution is expected to reduce. Unfortunately these potential advantages come at the price of numerical difficulties induced by the possible different convergence rate of the right-hand sides or linear combination of some of them. This numerical feature is referred to as partial convergence. For sequences of unsymmetric linear systems in Chapter 2, we develop novel block minimum norm residual approach that combines two main ingredients. The first component exploits ideas from GCRO-DR, enabling us to recycle spectral information from one linear system to the next. The second component is the numerical mechanism for managing partial convergence of the right-hand sides, referred to as the inexact breakdown detecting mechanism in IB-BGMRES, that enables the monitoring of the rank deficiency in the residual space basis expanded blockwise. Next, for the class of block minimum norm residual approaches, that relies on a block Arnoldi-like equality between the search space and residual space, we introduce new search space expansion policies defined on novel criteria to detect partial convergence. These novel detection criteria are tuned to the targeted stopping criterion and convergence threshold. This enables us to monitor the computational effort while ensuring the final accuracy of each individual solution. Because the partial convergence issue appears in any type of block Krylov solvers, in Chapter 3, we extend the partial convergence detecting mechanism to the block variant of the conjugate residual method, a minimum residual norm approach with short term recurrence scheme, for symmetric but not necessary positive definite linear systems. Then, inspired by the idea of reusing generated information to approximate spectral information for accelerating convergence, in Chapter 4, we devise a corresponding subspace recycling strategy. More precisely, we apply the thick-restart ideas introduced in the Lanczos method for eigenpair calculation in the block conjugate gradient algorithm (BCG) for the symmetric positive definite linear systems. We also investigate the possibility to use the partial convergence detection to the BCG algorithm as a heuristic. Finally, these partial convergence detection and subspace recycling strategies can be efficiently combined to design a deflated block conjugate gradient algorithm for sequences of symmetric positive definite linear systems. An alternative path to the above mentioned traditional numerical linear algebra approaches is to consider using the scientific machine learning techniques. In Chapter 5, we presents some ways of hybridizing the newly emerging deep learningsolvers and the more traditional numerical linear algebra techniques to let them benefit from each other. Inthe context of solving a heterogeneous Helmholtz equation, we first focus on introducing some mathematicalingredients from classical iterative solver into the training phase of a recently proposed deep neural networksolver. The main benefit is a significant improvement in the training phase that is more robust and faster,which turns out to be applicable to the testing process as well. Furthermore, once the network solvers havebeen properly trained, their inferences can be applied as a nonlinear preconditioner in the traditional flexibleGMRES method. This part demonstrates that these hybrid variants have clear advantages over both thenewly emerging deep neural network approach and the classical iterative Krylov solver in terms of bothcomputational cost and accuracy of the computed solution.