Limites fondamentales de l'estimation en grande dimension : une approche à l'interface de la physique statistique, des probabilités, et de la théorie des matrices aléatoires

Fundamental limits of high-dimensional estimation : a stroll between statistical physics, probability and random matrix theory

• Auteur / Autrice : Antoine Maillard
• Direction : Florent Krzakala
• Type : Thèse de doctorat
• Discipline(s) : Physique théorique
• Date : Soutenance le 30/08/2021
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Physique en Ile de France
• Partenaire(s) de recherche : Laboratoire : Laboratoire de physique de l'ENS (Paris ; 2019-....)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Jean-Philippe Bouchaud
• Jury : Examinateurs / Examinatrices : Florent Krzakala, Jean-Philippe Bouchaud, Andrea Montanari, Alice Guionnet, Afonso Bandeira
• Jury : Rapporteurs / Rapporteuses : Jean-Philippe Bouchaud, Andrea Montanari

Mots clés

Mots clés contrôlés

Physique mathématique

Mots clés libres

Physique Statistique

Apprentissage automatique

Statistique en haute dimension

Théorie de l'information.

Théorie des matrices aléatoires

Optimisation non convexe

Statistical Physics

Machine Learning

High-Dimensional statistics

Information Theory

Random matrix theory

Non-Convex optimization

Résumé

Le déluge croissant de données qui a rythmé la dernière décennie a donné naissance à des techniques modernes dans le domaine de l’intelligence artificielle. Ces méthodes sont basées sur l’optimisation d’un très grand nombre de paramètres par l’exploitation d’une quantité gargantuesque de données, et ces algorithmes sont désormais l’état de l’art pour des tâches aussi diverses que la classification d’images, le traitement automatique des langues, ou la reconnaissance vocale, et leurs performances excèdent régulièrement les capacités humaines. En conséquence, de nombreuses recherches se sont concentrées sur la construction d’une théorie mathématique qui pourrait expliquer l’efficacité de ces algorithmes, créant un fort gain d’intérêt pour les statistiques en haute dimension, où la quantité de données et le nombre de paramètres sont tous deux très grands. Nous analysons ici quelques pièces de cet immense puzzle à travers le prisme de la physique statistique, en empruntant également aux probabilités et à la théorie des matrices aléatoires. Ces outils nous permettent de proposer trois approches au problème de l’apprentissage statistique en haute dimension. Dans la première, nous revisitons un classique de la physique statistique, les expansions de haute température. Nous expliquons comment cette méthode est liée à des algorithmes modernes, et nous l’utilisons pour proposer les prémices d’une théorie exacte de la factorisation de matrices à rang extensif. Pour cela nous exploitons la connexion forte qui relie la physique des systèmes désordonnés et les statistiques en grande dimension, un sujet de recherche qui suscite un intérêt croissant depuis les années 1990. Dans une seconde partie, nous poussons cette correspondance plus loin et utilisons des outils heuristiques de physique théorique, comme la méthode des répliques, associés à des outils probabilistes et des algorithmes de passage de message, pour décrire les limites fondamentales d’une grande catégorie de problèmes d’apprentissage. Nous appliquons cette analyse à des réseaux de neurones, à l’extraction de phase, ainsi que pour étudier l’influence de la structure des données sur les procédures d’inférence. Enfin nous proposons une direction alternative, une approche topologique au problème d’inférence en haute dimension : en utilisant des outils de géométrie différentielle stochastique et de matrices aléatoires, nous prouvons des formules exactes décrivant la structure des paysages d’énergie optimisés par les algorithmes d’apprentissage.

The past decade saw an intensification of the deluge of data available to learning algorithms, which allowed for the development of modern artificial intelligence techniques. These methods rely on the optimization of a very large number of internal parameters using gigantic amounts of data, and now provide state-of-the-art algorithms for tasks as diverse as image classification, natural language processing, or speech recognition, and regularly achieve super-human performances. This exacerbated research efforts to build a mathematically sound theory of data science able to explain the extraordinary efficiency of these procedures, and has led to a surge of interest for high-dimensional statistics (i.e. when the amount of data and the number of parameters are both very large). In this dissertation we analyze a few pieces of this immense puzzle through the prism of statistical physics, borrowing also often from probability and random matrix theory, and we propose three approaches to the high-dimensional learning problem. In the first one, we revisit high-temperature expansions, an archetypal method of statistical physics. We show how this classical approach is related to modern algorithms, and use it to pave the way towards an exact theory of extensive-rank matrix factorization. Our theory leverages the intimate relation between the statistical physics of disordered systems and high-dimensional statistics, a connection which has been a growing subject of research since the 1990s. Our second approach pushes further this correspondence as we leverage heuristic tools of theoretical physics such as the replica method, along with modern probabilistic methods and message-passing algorithms, to describe the fundamental limits of a wide class of high-dimensional learning problems. We apply our analysis to neural networks, phase retrieval, and to study the influence of data structure on the optimal learning procedures. In a third part, we take an alternative route and consider a topological approach to the problem of learning in high dimension. Using tools of random differential geometry and random matrix theory, we prove exact formulas describing the structure of the high-dimensional landscapes optimized by learning algorithms.