nouvelles perspectives en mécanique statistique et inférence à haute dimension

new perspectives in statistical mechanics and high-dimensional inference

• Auteur / Autrice : Francesco Camilli
• Direction : Marc Mézard, Pierluigi Contucci
• Type : Projet de thèse
• Discipline(s) : Physique
• Date : Inscription en doctorat le ; Soutenance le 21/03/2023
• Etablissement(s) : Université Paris sciences et lettres en cotutelle avec Université de Bologne
• Ecole(s) doctorale(s) : Physique en Ile de France
• Partenaire(s) de recherche : Laboratoire : Laboratoire de physique de l'ENS (Paris ; 2019-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Erwin Bolthausen
• Jury : Examinateurs / Examinatrices : Marc Mezard, Pierluigi Contucci, Lenka Zdeborová, Daniele Tantari, Giulio Biroli
• Jury : Rapporteurs / Rapporteuses : Federico Ricci-tersenghi, Nicolas Macris

Mots clés

Mots clés libres

Systèmes désordonnés

Verres de spin

Inférence bayésienne

Modèles multi-espèces

Bruit structuré

Factorisation de matrice

Disordered systems

Spin-glasses

Bayesian inference

Multi-species models

Structured noise

Matrix factorization

Résumé

L'objectif principal de cette thèse est d’affaiblir deux hypothèses qui accompagnent habituellement l'analyse théorique dans les verres de spin et l'inférence: l'hypothèse d’éléments de bruit i.i.d. (indépendamment et identiquement distribué) et le régime de rang fini. La première est apparue dès la naissance des verres de spin. La seconde concerne plutôt le point de vue de l'inférence. Les systèmes désordonnés et l'inférence bayésienne ont une relation bien établie, qui est mise en évidence par leur constante fertilisation croisée. La thèse fait appel à des techniques développées dans l'étude rigoureuse des verres de spin, comme l’interpolation, et de la physique statistique, comme la méthode des répliques. La thèse commence par une introduction aux modèles de Sherrington-Kirkpatrick et Wigner spiked. Le premier est un verre de spin à champ moyen avec des couplages i.i.d. gaussiennes. Le second revient plutôt à établir les limites statistiques dans la reconstruction d'une matrice de rang fini, le "spike", brouillée par un bruit gaussien additif. En supposant l'optimalité bayésienne, c'est-à-dire en sachant tout sur le processus de génération des données à disposition, on peut prouver que le modèle Wigner spiked est en fait un verre de spin dans une sous-région de son espace de phase appelée ligne de Nishimori. Dans un tel contexte, toute une série d'identités et d'inégalités de corrélation sont valables en raison de cette phase spéciale, et elles sont suffisantes pour forcer la symétrie de réplique qui conduit à des principes variationnels en dimension finie pour l'énergie libre. Les analyses précédentes reposent fortement sur la nature i.i.d. du bruit. Pour affaiblir cette hypothèse, on peut donner aux couplages un profil de variance inhomogène, brisant ainsi une symétrie de permutation globale entre les sites de particules et donnant lieu aux modèles multi-espèces. Nous étudions deux types différents de profils de variance: un couplage convexe et un couplage profond. Cette terminologie fait référence aux manières possibles de coupler différentes particules appartenant à des espèces différentes. Ensuite, nous étudions rigoureusement le modèle Wigner spiked hors du cadre d’optimalité bayésienne. Parmi les différentes façons de briser l'optimalité de Bayes, nous nous concentrons sur le cas de priors non concordants: le statisticien qui veut reconstruire le spike assume un mauvais prior sur les éléments de sa matrice. Nous montrons que le modèle peut être représenté dans un verre de spin hors de la ligne de Nishimori, et donc les identités de Nishimori et la symétrie de réplique se brisent. Pour aller plus loin, nous introduisons ensuite un spiked model dans lequel le bruit est extrait d'un ensemble de matrices aléatoire orthogonales, brisant ainsi l'hypothèse d'indépendance. En utilisant la méthode des répliques, nous obtenons ses limites théoriques d'information lorsque le bruit est extrait d'un ensemble avec un potentiel de matrice quartique. Nous montrons comment construire un algorithme approximé de passage de messages qui sature ces limites. Enfin, nous traitons le problème de la factorisation des matrices de rang élevé sous un nouvel angle. Nous abandonnons l'optimalité bayésienne en faveur d'une estimation sous-optimale pratique. Puisqu'une matrice symétrique de rang P peut être représentée comme une collection de P vecteurs, nous cherchons à les trouver itérativement. À chaque étape de cette procédure, appelée décimation, le modèle d'inférence résultant peut être mappé dans un verre de spin similaire au modèle de Hopfield, et en tant que tel, il hérite de la plupart de ses caractéristiques. En utilisant la méthode des répliques, nous calculons l'énergie libre associée à chaque étape de décimation et montrons numériquement qu'il s'agit d'une stratégie viable pour la factorisation matricielle dans certains intervalles des paramètres de contrôle. Cela montre surtout que la factorisation de matrices est possible.

The main purpose of this thesis is to go beyond two usual assumptions that accompany theoretical analysis in spin-glasses and inference: the i.i.d. (independently and identically distributed) hypothesis on the noise elements and the finite rank regime. The first one appears since the early birth of spin-glasses. The second one instead concerns more the inference point of view. Disordered systems and Bayesian inference have a well-established relation, which is evidenced by their continuous cross-fertilization. The thesis makes use of techniques coming both from the rigorous mathematical machinery of spin-glasses, such as the interpolation scheme, and from Statistical Physics, such as the replica method. The starting point of the work are the Sherrington-Kirkpatrick model and the spiked Wigner model. The first is a mean field spin-glass where the couplings are i.i.d. Gaussian random variables. The second instead amounts to establish the information theoretical limits in the reconstruction of a fixed low rank matrix, the “spike”, blurred by additive Gaussian noise. Assuming Bayes-optimality, namely to know everything about the generating process of the data at disposal, one can prove that the spiked Wigner model is actually a spin-glass in a sub-region of its phase space called Nishimori line. In such setting a whole set of identities and correlation inequalities hold because of the special phase of the spin-glass or of the inferential setting, and they are sufficient to imply replica symmetry. This in turn leads to finite dimensional variational principles for the free energy. The analysis of the previous models relies heavily on the i.i.d. nature of the noise. To weaken this assumption, we can give the couplings an inhomogenous variance profile, thus breaking an overall permutation symmetry among the particles sites and giving rise to the so-called multi-species models. We study two different types of variance profiles: a convex coupling and a deep coupling. This terminology refers to the possible ways we can couple different particles belonging to different species. Afterwards, we rigorously study the spiked Wigner model out of the Bayes-optimal setting. Among the several ways to break Bayes-optimality, we focus on the mismatching priors case: the Statistician that wants to reconstruct the spike assumes a wrong prior on its matrix elements. We show that the model can be mapped into a spin-glass out of the Nishimori line, and therefore Nishimori identities and replica symmetry break down. As a step further, we then introduce a spiked model in which the noise is drawn from an orthogonal matrix ensemble, thus breaking the independence assumption. Using the replica method, we derive its information theoretical limits when the noise is drawn from an ensemble with quartic matrix potential. We show how to build an Approximate Message Passing algorithm that saturates such limits. Finally, we tackle the problem of high rank matrix factorization, providing a new point of view. We abandon Bayes-optimality in favor of a convenient mismatched estimation. Since a symmetric rank P matrix can be represented as a collection of P vectors, we aim at finding those vectors iteratively one after the other. At each step of this procedure, that we call decimation, the resulting inference model can be mapped into a spin-glass model whose Hamiltonian is really similar to that of the Hopfield model, and as such it inherits most of its features. Using the replica method, we compute the free energy associated to each decimation step and show numerically that it is a viable strategy for matrix factorization in certain ranges of the control parameters. Above all, this shows that matrix factorization is possible.