Nouveaux outils et perspectives pour l'Analyse en Composantes Principales tensorielle et au-delà

New perspectives and tools for Tensor Principal Component Analysis and beyond

• Auteur / Autrice : Mohamed Ouerfelli
• Direction : Vincent Rivasseau, Mohamed Tamaazousti
• Type : Thèse de doctorat
• Discipline(s) : Physique
• Date : Soutenance le 05/12/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Physique en Île-de-France (Paris ; 2014-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de physique des deux infinis Irène Joliot-Curie (2020-....) - Laboratoire d'intégration des systèmes et des technologies (Gif-sur-Yvette, Essonne ; 2001-....)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Physique (2020-....)
• Jury : Président / Présidente : Alice Guionnet
• Jury : Examinateurs / Examinatrices : Răzvan-Gheorghe Gurău, Gérard Ben Arous, Valentina Ros, Mustapha Lebbah
• Jury : Rapporteurs / Rapporteuses : Răzvan-Gheorghe Gurău, Gérard Ben Arous

Mots clés

Mots clés contrôlés

Modèles tensoriels

Analyse des données

Analyse en composantes principales

Calcul tensoriel

Optimisation mathématique

Mots clés libres

Tenseurs aléatoires

ACP tensorielle

Décomposition de tenseur

Ecart théorique algorithmique

Paysages non convexes à hautes dimensions

Random tensors

Tensor PCA

Tensor decomposition

Statistical-Computational gap

High dimensional non convex landscapes

Résumé

Cette thèse a pour objet l'analyse en composantes principales (APC) tensorielle. L'introduction constate l'intérêt grandissant pour les outils tensoriels dans le domaine de l'Intelligence Artificielle (IA). Trouver de nouvelles méthodes et algorithmes en IA qui soient moins opaques et qui nécessitent moins de données que l'apprentissage profond est crucial pour faciliter l'adoption de l'IA dans de nouveaux domaines d'application. Le deuxième chapitre souligne l'importance plus générale de l'étude de l'APC tensorielle en mettant en lumière sa position clé à l'intersection de sujets de recherche très actifs de trois disciplines différentes, les mathématique appliquées, la physique des systèmes désordonnés, et l'informatique théorique. La contribution de cette thèse se divise en deux parties. La première consiste en un nouveau cadre théorique adapté aux tenseurs, inspiré par des travaux de recherche récents en physique des hautes énergies. Ce cadre permet d'améliorer les résultats sur des données synthétiques ainsi que dans certaines applications concrètes. Il permet aussi de donner des nouvelles garanties théoriques pour des situations plus générales, comme un tenseur aux dimensions non égales. La deuxième contribution introduit une nouvelle méthode basée sur une approche plus empirique. Elle fournit de nouvelles intuitions qui nous poussent à questionner certaines conjectures telles que celles qui portent sur le comportement et la performance de la méthode de la puissance itérée tensorielle. Ces résultats pourraient apporter de nouveaux éléments essentiels à l'étude de l'écart théorique-algorithmique et le comportement de la descente de gradient dans l'apprentissage profond.

This thesis deals with tensorial principal component analysis (PCA). The introduction notes the growing interest in tensorial tools in the field of Artificial Intelligence (AI). Finding new AI methods and algorithms that are less opaque and that require less data than deep learning is crucial to facilitate the adoption of AI in new application domains. The second chapter emphasizes the more general importance of the study of tensorial PCA by highlighting its key position at the intersection of very active research subjects from three different disciplines, applied mathematics, the physics of disordered systems, and theoretical computer science. The contribution of this thesis is divided into two parts. The first consists of a new theoretical framework adapted to tensors, inspired by recent research work in high energy physics. This framework makes it possible to improve the results on synthetic data as well as in certain concrete applications. It also makes it possible to give new theoretical guarantees for more general situations, such as a tensor with unequal dimensions. The second contribution introduces a new method based on a more empirical approach. It provides new insights that lead us to question certain conjectures such as those related to the behavior and performance of the tensor power iteration method. These results could bring new essential elements to the study of the statistical-computational gap and the behavior of gradient descent in deep learning.