Processus Gaussien sous contraintes et de rang faible sur certaines variétés

Constrained and Low Rank Gaussian Process on some Manifolds

• Auteur / Autrice : Tien-Tam Tran
• Direction : Chafik Samir
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/12/2023
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
• Jury : Président / Présidente : Mourad Baïou
• Jury : Examinateurs / Examinatrices : Shantanu H. Joshi, Rodolphe Le Riche
• Jury : Rapporteur / Rapporteuse : Christophette Blanchet-Scalliet, Hông Vân Lê

Mots clés

Mots clés contrôlés

Processus gaussiens

Mots clés libres

Processus gaussiens

Processus gaussiens contraints

Hmc

Apprentissage par transfert

Variété riemannienne

Métrique de Fisher-Rao

Gaussian processes

Constrained Gaussian processes

Hmc

Transfer learning

Riemannian manifold

Fisher-Rao metric

Résumé

La thèse est divisée en trois parties principales, nous résumerons les principales contributions de la thèse comme suit. Processus gaussiens à faible complexité : la régression par processus gaussien s'échelonne généralement en $O(n^3)$ en termes de calcul et en $O(n^2)$ en termes d'exigences de mémoire, où $n$ représente le nombre d'observations. Cette limitation devient inapplicable pour de nombreux problèmes lorsque $n$ est grand. Dans cette thèse, nous étudions l'expansion de Karhunen-Loève des processus gaussiens, qui présente plusieurs avantages par rapport aux techniques de compression à faible rang. En tronquant l'expansion de Karhunen-Loève, nous obtenons une approximation explicite à faible rang de la matrice de covariance, simplifiant considérablement l'inférence statistique lorsque le nombre de troncatures est faible par rapport à $n$.Ensuite, nous fournissons des solutions explicites pour les processus gaussiens à faible complexité. Tout d'abord, nous cherchons des expansions de Karhunen-Loève en résolvant les paires propres d'un opérateur différentiel où la fonction de covariance sert de fonction de Green. Nous offrons des solutions explicites pour l'opérateur différentiel de Matérn et pour les opérateurs différentiels dont les fonctions propres sont représentées par des polynômes classiques. Dans la section expérimentale, nous comparons nos méthodes proposées à des approches alternatives, révélant ainsi leur capacité améliorée à capturer des motifs complexes.Processus gaussiens contraints:Cette thèse introduit une approche novatrice utilisant des processus gaussiens contraints pour approximer une fonction de densité basée sur des observations. Pour traiter ces contraintes, notre approche consiste à modéliser la racine carrée de la fonction de densité inconnue réalisée comme un processus gaussien. Dans ce travail, nous adoptons une version tronquée de l'expansion de Karhunen-Loève comme méthode d'approximation. Un avantage notable de cette approche est que les coefficients sont gaussiens et indépendants, les contraintes sur les fonctions réalisées étant entièrement dictées par les contraintes sur les coefficients aléatoires. Après conditionnement sur les données disponibles et les contraintes, la distribution postérieure des coefficients est une distribution normale contrainte à la sphère unité. Cette distribution pose des difficultés analytiques, nécessitant des méthodes numériques d'approximation. À cette fin, cette thèse utilise l'échantillonnage Hamiltonien Monte Carlo sphérique (HMC). L'efficacité du cadre proposé est validée au moyen d'une série d'expériences, avec des comparaisons de performances par rapport à des méthodes alternatives.Enfin, nous introduisons des modèles d'apprentissage par transfert dans l'espace des mesures de probabilité finies, désigné sous le nom de $mathcal{P}_+(I)$. Dans notre étude, nous dotons l'espace $mathcal{P}_+(I)$ de la métrique de Fisher-Rao, le transformant en une variété riemannienne. Cette variété riemannienne, $mathcal{P}_+(I)$, occupe une place significative en géométrie de l'information et possède de nombreuses applications. Au sein de cette thèse, nous fournissons des formules détaillées pour les géodésiques, la fonction exponentielle, la fonction logarithmique et le transport parallèle sur $mathcal{P}_+(I)$.Notre exploration s'étend aux modèles statistiques situés au sein de $mathcal{P}_+(I)$, généralement réalisés dans l'espace tangent de cette variété. Avec un ensemble complet d'outils géométriques, nous introduisons des modèles d'apprentissage par transfert facilitant le transfert de connaissances entre ces espaces tangents. Des algorithmes détaillés pour l'apprentissage par transfert, comprenant l'Analyse en Composantes Principales (PCA) et les modèles de régression linéaire, sont présentés. Pour étayer ces concepts, nous menons une série d'expériences, fournissant des preuves empiriques de leur efficacité.

The thesis is divided into three main parts, we will summarize the major contributions of the thesis as follows.Low complexity Gaussian processes:Gaussian process regression usually scales as $O(n^3)$ for computation and $O(n^2)$ for memory requirements, where $n$ represents the number of observations. This limitation becomes unfeasible for many problems when $n$ is large. In this thesis, we investigate the Karhunen-Loève expansion of Gaussian processes, which offers several advantages over low-rank compression techniques. By truncating the Karhunen-Loève expansion, we obtain an explicit low-rank approximation of the covariance matrix (Gram matrix), greatly simplifying statistical inference when the number of truncations is small relative to $n$.We then provide explicit solutions for low complexity Gaussian processes. We seek Karhunen-Loève expansions, by solving for eigenpaires of a differential operator where the covariance function serves as the Green function. We offer explicit solutions for the Matérn differential operator and for differential operators with eigenfunctions represented by classical polynomials. In the experimental section, we compare our proposed methods with alternative approaches, revealing their enhanced capability in capturing intricate patterns.Constrained Gaussian processes:This thesis introduces a novel approach used constrained Gaussian processes to approximate a density function based on observations. To address these constraints, our approach involves modeling square root of unknown density function realized as a Gaussian process. In this work, we adopt a truncated version of the Karhunen-Loève expansion as the approximation method. A notable advantage of this approach is that the coefficients are Gaussian and independent, with the constraints on the realized functions entirely dictated by the constraints on the random coefficients. After conditioning on both available data and constraints, the posterior distribution of the coefficients is a normal distribution constrained to the unit sphere. This distribution poses analytical intractability, necessitating numerical methods for approximation. To this end, this thesis employs spherical Hamiltonian Monte Carlo (HMC). The efficacy of the proposed framework is validated through a series of experiments, with performance comparisons against alternative methods.Transfer learning on the manifold of finite probability measures:Finally, we introduce transfer learning models in the space of finite probability measures, denoted as $mathcal{P}_+(I)$. In our investigation, we endow the space $mathcal{P}_+(I)$ with the Fisher-Rao metric, transforming it into a Riemannian manifold. This Riemannian manifold, $mathcal{P}_+(I)$, holds a significant place in Information Geometry and has numerous applications. Within this thesis, we provide detailed formulas for geodesics, the exponential map, the log map, and parallel transport on $mathcal{P}_+(I)$.Our exploration extends to statistical models situated within $mathcal{P}_+(I)$, typically conducted within the tangent space of this manifold. With a comprehensive set of geometric tools, we introduce transfer learning models facilitating knowledge transfer between these tangent spaces. Detailed algorithms for transfer learning encompassing Principal Component Analysis (PCA) and linear regression models are presented. To substantiate these concepts, we conduct a series of experiments, offering empirical evidence of their efficacy.