Contribution à la théorie des réseaux de neurones en graphes sur des grands graphes aléatoires.

Contribution to the theory of graph neural networks on large random graphs.

• Auteur / Autrice : Matthieu Cordonnier
• Direction : Nicolas Tremblay
• Type : Projet de thèse
• Discipline(s) : Signal Image Parole Télécoms
• Date : Inscription en doctorat le ; Soutenance le 03/12/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal
• Partenaire(s) de recherche : Laboratoire : Grenoble Images Parole Signal Automatique
• Jury : Président / Présidente : Massih-Reza Amini
• Jury : Examinateurs / Examinatrices : Nicolas Tremblay, Yohann De castro, Sophie Achard, Andreas Loukas, Ron Levie
• Jury : Rapporteur / Rapporteuse : Yohann De castro, Andreas Loukas

Mots clés

Mots clés libres

Réseaux de neurones

Graphes

Aléatoire

Grands graphes

Neural networks

Graphs

Random

Large graphs

Résumé

Une grande variété de données, comme les molécules, la propagation des épidémies, ou plus généralement tout type de réseaux, sont fidèlement représentées par des graphes. Contrairement aux données classiques, dites euclidiennes, comme les images digitales, les données en graphes renferment une double information. D'une part, le graphe lui-même, structure irrégulière qui gouverne la propagation de l'information au sein du réseau. D'autre part, la donnée portée par chaque nœud, dont l'ensemble est appelé signal sur graphe. En apprentissage statistique, une base de données suffisamment vaste est essentielle. De telles bases de données existent pour des petits graphes, tandis que pour les grands graphes, elles se résument souvent à un unique graphe géant (de l'ordre du million, voire milliard de nœuds). On distingue donc deux types de tâches en apprentissage sur graphes. D'abord, les tâches sur les graphes, comme la classification de graphes, où on demande à un algorithme de retourner un attribut global pour le graphe. Ces tâches concernent quasi exclusivement les petits graphes, pour lesquels de vastes bases de données sont disponibles. Ensuite, les tâches sur les nœuds, comme la détection de communautés, pour lesquelles un algorithme devra renvoyer un signal sur le graphe. Dans ce cas, on s'intéresse plutôt aux grands graphes et moins aux petits graphes, pour lesquels on privilégiera des méthodes plus directes comme le partitionnement spectral. Ainsi, les grands graphes sont essentiellement liés aux tâches sur les nœuds et vice versa. Malgré cette dichotomie, tout modèle pour les donnée en graphes doit utiliser chacunes des deux facettes de l'information, à savoir le graphe et le signal qu'il porte. Une solution moderne, objet d'étude de cette thèse, est le réseau de neurones en graphe (RNG), une architecture d'apprentissage profond spécialement conçue pour traiter les données en graphe. Un même RNG peut traiter des graphes de toute taille et s'adapter d'une tâche sur nœuds à une tâche sur graphes via une légère modification. De plus, un RNG exploite toujours la double information grâce au mécanisme de «message passing», par lequel le signal sur les nœuds est propagé selon la structure du graphe. Cependant, bien que les RNG soient devenus une référence en apprentissage sur graphes, leur théorie reste mal comprise. Par exemple, il arrive qu'un RNG avec des paramètres aléatoires non entraînés réussisse aussi bien qu'un modèle entraîné. Ce genre de phénomène demeure surprenant, et des notions clés, comme la généralisation ou l'expressivité, sont encore mal définies pour l'apprentissage statistique sur graphes et les RNG. L'axe de recherche dominant en théorie des RNG s'appuie sur des idées combinatoires et se concentre sur les tâches sur graphes. Ce point de vue est mal adapté aux grands graphes et aux tâches sur les nœuds, pour lesquelles la théorie des RNG est à peine balbutiante. L'objectif de cette thèse est de contribuer à l'étude des RNG pour les grands graphes. Nous adoptons une approche statistique et analytique en modélisant les grands graphes et leurs signaux par un modèle de graphes aléatoires dit à espace latent. Les nœuds sont tirés aléatoirement dans un espace inconnu, puis connectés aléatoirement selon un noyau agissant sur cet espace. Quant aux signaux, ils sont échantillonnés à partir de fonctions sur l'espace latent. Notre première contribution est d'établir que certains RNG à «message passing» sur des graphes aléatoires de taille croissante convergent vers un homologue dit continu. Le RNG discret traite un signal sur graphe, tandis que sa limite continue traite une fonction sur l'espace latent. Ainsi, ce théorème de convergence permet de passer du monde discret au monde continu et vice versa, par passage à la limite ou échantillonnage. Notre seconde contribution est d'exploiter cette convergence pour proposer et étudier une notion d'expressivité adaptée aux RNG sur les grands graphes aléatoires.

A wide variety of data, such as molecules, epidemics propagation, or more generally any type of networks, are faithfully represented by graphs. Unlike classical data, referred to as Euclidean, such as digital images, the information graph data is twofold. On one hand, there is the graph itself, an irregular structure that governs the propagation of information within the network. On the other hand, there is the data held by each node, collectively referred to as the signal on the graph. In machine learning, a sufficiently large database is essential. Such databases exist for small graphs, while for large graphs, they often reduce to a single giant graph (on the order of millions or even billions of nodes). Therefore, we distinguish between two types of tasks in graph learning. First, graph-level tasks, such as graph classification, where an algorithm is asked to return a global attribute for the graph. These tasks concern almost exclusively small graphs, for which extensive databases are available. Next, node-level tasks, such as community detection, where an algorithm must return a signal on the graph. In this case, we are more interested in large graphs and less in small graphs, for which we will favor more direct methods such as spectral clustering. Thus, large graphs essentially pertain to node-level tasks and vice versa. Despite this dichotomy, any model for graph data must utilize both of the two facets of the information, namely the graph and the signal it carries. A modern solution, which is the subject of this thesis, is the graph neural network (GNN), a deep learning architecture specially designed to process graph data. A single GNN can handle graphs of any size and adapt from a node task to a graph task with slight modification. Moreover, a GNN always exploits the dual information thanks to its ''message passing'' mechanism, by which the signal on the nodes is propagated according to the structure of the graph. However, although GNNs have become a reference in graph learning, their theory remains poorly understood. For instance, a GNN with untrained random parameters may perform comparably to a trained model. This kind of phenomenon remains surprising, and key notions such as generalization or expressivity are still poorly defined for machine learning on graphs and GNNs. The dominant research axis in GNN theory relies on combinatorial ideas and focuses on graph-level tasks. This perspective is poorly suited to large graphs and node-level tasks, for which GNN theory is still in its infancy. The objective of this thesis is to contribute to the study of GNNs for large graphs. We adopt a statistical and analytical approach by modeling large graphs and their signals using a so-called latent space random graph model. Nodes are randomly drawn from an unknown space and then randomly connected according to a kernel acting on that space. As for the signals, they are sampled from functions on the latent space. Our first contribution is to establish that certain ''message passing'' GNNs on random graphs of increasing size converge to a so-called continuous counterpart. The discrete GNN processes a signal on the graph, while its continuous limit processes a function on the latent space. Thus, this convergence theorem allows for a transition from the discrete to the continuous realm and vice versa, through taking the limit or sampling. Our second contribution is to exploit this convergence to propose and study a notion of expressivity adapted to GNNs on large random graphs.