Contributions aux réseaux de neurones sur graphes dynamiques

Cοntributiοns tο Advanced Dynamic Graph Νeural Νetwοrks

• Auteur / Autrice : Leshanshui Yang
• Direction : Sébastien Adam, Clement Chatelain
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 27/10/2021; Soutenance le 06/12/2024
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École Doctorale Mathématiques, Information, Ingénierie des Systèmes
• Partenaire(s) de recherche : Laboratoire : LABORATOIRE D'INFORMATIQUE DE TRAITEMENT DE L'INFORMATION ET DES SYSTEMES
• Partenaire(s) de recherche : Établissement co-accrédité : Université de Rouen Normandie
• Jury : Examinateurs / Examinatrices : Mathilde Vernet, Luc Brun, Clement Chatelain, Jean-yves Ramel, Nicolas Ragot, Sébastien Adam
• Jury : Rapporteur / Rapporteuse : Jean-yves Ramel, Nicolas Ragot

Mots clés

Mots clés contrôlés

Graphes dynamiques

Mots clés libres

Apprentissage de représentation de graphes dynamiques

Graphes dynamiques

Réseaux de neurones sur graphes

Théorie des graphes

Apprentissage automatique

Dynamic Graph Representation Learning

Dynamic Graphs

Graph Neural Networks

Graph Theory

Machine Learning

Résumé

Ce manuscrit présente les recherches menées dans le cadre d'une thèse CIFRE réalisée en partenariat entre le LITIS et Saagie. Les représentations à base de Graphes Dynamiques (DG), qui intègrent à la fois des informations topologiques et temporelles, sont de plus en plus utilisées pour modéliser des systèmes dynamiques tels que les réseaux sociaux, les systèmes de recommandation et les réseaux de transactions. Les réseaux de neurones sur graphes dynamiques (DGNN) sont récemment devenus l'approche à l'état de l’art dans ce domaine, avec une multitude de modèles proposés. Cependant, l'hétérogénéité et la complexité des DGs présentent des défis significatifs dans la formulation des tâches prédictives et la catégorisation des architectures DGNNs. Dans cette thèse, nous abordons d'abord le manque d'un cadre global pour définir et catégoriser les tâches prédictives sur les graphes dynamiques. Nous proposons une taxonomie qui prend en compte des facteurs tels que le graphe dynamique soit en temps discret ou en temps continu, la nature transductive ou inductive de la tâche, et la granularité de la sortie. Cette taxonomie clarifie les distinctions entre les différents contextes d'apprentissage sur les graphes dynamiques et les aligne avec les applications et jeux de données pertinents. En nous appuyant sur cette base, nous explorons la conception de modèles statistiques capables d'extraire les informations clés des graphes dynamiques. Nous introduisons une taxonomie des modèles DGNNs basée sur la manière dont ils intègrent l'information temporelle et examinons leur compatibilité avec différents contextes d'apprentissage, fournissant ainsi des pistes pour la conception et l'optimisation des DGNNs. Malgré les avancées dans la conception des DGNNs, de nombreux encodeurs de graphes ont une expressivité limitée. Les convolutions de graphes conçues spectralement, connues pour offrir une plus grande expressivité sur les graphes statiques en filtrant les valeurs propres du Laplacien pour calculer les noyaux de convolution, restent largement inexplorées sur les graphes dynamiques en temps discret (DTDG). Pour améliorer l'expressivité des DGNNs, nous introduisons le Dynamic Spectral-Parsing Graph Neural Network (DspGNN), un nouveau modèle qui optimise la convolution de graphes statiques conçue spectralement sur les DTDGs et qui répond aux défis computationnels de la décomposition spectrale sur de grands DTDGs. Les résultats expérimentaux montrent que DspGNN surpasse les modèles de référence sur les tâches de régression d'attributs d'arêtes et atteint des performances à l'état de l'art sur les tâches de prédiction de liens. Enfin, nous abordons la problématique de l'encodage des nouveaux nœuds émergents dans les graphes dynamiques sans attributs, une situation courante dans les tâches de détection d'anomalies. Nous proposons le Dual-Contextual Inductive Dynamic Graph Transformer (DCIDGT), qui capture à la fois les contextes global et local pour la détection d'anomalies. Au cœur de cette approche se trouve notre mécanisme d'Accumulative Causal Walk Alignment (ACWA), assurant l'alignement sémantique des embeddings de nœuds à travers les instantanés en résolvant le problème d'Orthogonal Procrustes. Les résultats expérimentaux montrent que DCIDGT surpasse significativement les modèles de référence dans la tâche de détection d'anomalies sur les arêtes, ouvrant de nouvelles perspectives pour gérer les nouveaux nœuds émergents ou les attributs incomplets dans les graphes dynamiques.

This manuscript presents the research carried out within the framework of the CIFRE thesis conducted in partnership between LITIS and Saagie. Dynamic graph representations, integrating both topological and temporal information, are increasingly used to model dynamic systems such as social networks, recommender systems, and transaction networks. Dynamic Graph Neural Networks (DGNN) have become the state-of-the-art approach in this area, and a plethora of models have recently been proposed. However, the heterogeneity and complexity of dynamic graphs present significant challenges in formulating predictive tasks and categorising DGNN architectures. In this thesis, we first address the lack of a comprehensive framework for defining and categorising predictive tasks on dynamic graphs by proposing a taxonomy that considers factors including whether the graph is in discrete or continuous time, whether the task is transductive or inductive, and the output granularity. This taxonomy clarifies distinctions between dynamic graph learning settings and aligns them with relevant applications and datasets. Building upon this foundation, we explore the design of statistical models that learn key information from dynamic graphs. We introduce a taxonomy of DGNN models based on how they incorporate temporal information and examine their compatibility with different learning settings, providing guidelines for designing and optimising DGNNs. Despite advances in the design of DGNNs, many graph encoders have limited expressive power. Spectral-designed graph convolutions, known to provide greater expressiveness on static graphs by filtering the Laplacian eigenvalues to compute convolutional kernels, remain largely unexplored on Discrete Time Dynamic Graphs (DTDG). To improve the expressiveness of DGNNs, we introduce the Dynamic Spectral-Parsing Graph Neural Network (DspGNN), a novel model that optimises spectral-designed static graph convolution on DTDGs and addresses the computational challenges of eigendecomposition on large DTDGs. Experimental results show that DspGNN outperforms baseline models on edge attribute regression tasks and achieves state-of-the-art performance on link prediction tasks. Finally, we tackle unseen node encoding in unattributed dynamic graphs, which is a common problem in anomaly detection tasks. We propose the Dual-Contextual Inductive Dynamic Graph Transformer (DCIDGT), which effectively captures both global and local contexts for anomaly detection. Central to this approach is our proposed Accumulative Causal Walk Alignment (ACWA) mechanism, ensuring semantic alignment of random walk-based node embeddings across snapshots by solving the Orthogonal Procruste problem. Experimental results show that DCIDGT significantly outperforms existing baselines on the edge anomaly detection task, opening new avenues for handling newly emerging nodes or incomplete node attributes in dynamic graphs.