Matrices aléatoires de covariance et réseaux de neurones artificiels

Sample covariance random matrices arising in artificial neural networks

• Auteur / Autrice : Clement Chouard
• Direction : Mireille Capitaine, Guillaume Cébron
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et Applications
• Date : Soutenance le 16/10/2023
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de mathématiques de Toulouse (2007-....)
• Jury : Président / Présidente : Jamal Najim
• Jury : Examinateurs / Examinatrices : Mireille Capitaine, Guillaume Cébron, Jamal Najim, Fan Zhou, Lucas Benigni, Michel Ledoux
• Jury : Rapporteurs / Rapporteuses : Fan Zhou

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Apprentissage supervisé (intelligence artificielle)

Matrices aléatoires

Mots clés libres

Matrices aléatoires

Réseaux de neurones

Apprentissage automatique

Intelligence artificielle

Random matrices

Neural Networks

Machine Learning

IA

Résumé

Cette thèse est consacrée à l'étude asymptotique de certains modèles de matrices aléatoires de covariance empirique, en utilisant une approche analytique et notamment en étudiant leur matrice résolvante. Elle se décompose en deux parties. Dans un premier temps nous nous intéressons aux matrices de covariance issues de matrices avec une structure de dépendance partielle en colonnes. Nous fournissons un équivalent déterministe explicite pour la matrice résolvante de tels modèles, quantitatif en la dimension et le paramètre spectral de la résolvante. Ce résultat de type loi locale permet d'étudier les statistiques spectrales fines de ces matrices, et notamment de préciser la vitesse de convergence des mesures spectrales empiriques en distance de Kolmogorov. Dans un second temps nous étudions le modèle du noyau conjugué, qui reproduit le comportement d'un réseau de neurones artificiels à propagation avant lors de sa phase d'initialisation. Ce modèle se distingue des modèles habituellement considérés en matrices aléatoires par l'application d'une fonction réelle entrée par entrée. Nous utilisons les résultats généraux obtenus précédemment pour obtenir un équivalent déterministe quantitatif pour la résolvante du noyau conjugué. Cet équivalent permet de mieux comprendre les propriétés spectrales de ce modèle, et aussi de donner un sens à un phénomène d'universalité appelé principe d'équivalence gaussienne dans le domaine de l'apprentissage machine.

This thesis is devoted to the asymptotic study of some sample covariance random matrices models, by means of analytical methods and in particular by studying their resolvent. It subdivides into two parts. First, we focus on sample covariance matrices derived from matrices with a partial dependence structure in columns. We provide an explicit deterministic equivalent for the resolvent of such models, quantitative in both the dimension and the spectral parameter. This local law-type result enables us to study fine spectral statistics of such matrices, and in particular to specify the speed of convergence of the empirical spectral measures in Kolmogorov distance. Secondly, we study the conjugate kernel model, which modelizes a feed-forward artificial neural network at initialization. This model differs from classical random matrix models in that a real function is applied entry-wise on the matrices. We use the aforementioned results to obtain a quantitative deterministic equivalent for the conjugate kernel resolvent. This equivalent provides a better understanding of the spectral properties of this model, and it highlights a universality phenomenon also known as Gaussian equivalence principle in machine learning.