Modèles pré-entraînés de grands graphes multimodaux

Large multimodal Graph Pre-trained Models

• Auteur / Autrice : Iakovos Evdaimon
• Direction : Michalis Vazirgiannis
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 01/08/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : LIX - Laboratoire d'informatique

Mots clés

Mots clés libres

Réseaux neuronaux graphiques

Grands modèles pré-entraînés

Apprentissage par transfert

Pré-entraînement multimodal

Large pretrained models

Transfer learning

Graph Neural Networks

Multimodal pretraining

Résumé

Les réseaux neuronaux graphiques (GNN) sont devenus de plus en plus populaires ces dernières années en raison de leur efficacité dans le traitement des données structurées en graphe [6]. leur efficacité dans le traitement des données structurées en graphe [6]. Cependant, le succès des réseaux neuronaux graphiques dépend fortement de l'abondance des données étiquetées spécifiques à la tâche, qui peuvent être extrêmement rares en pratique [6]. sur l'abondance de données étiquetées spécifiques à la tâche, qui peuvent être extrêmement rares dans la pratique [6, 10]. A Une solution prometteuse consiste à pré-entraîner un modèle GNN transférable et expressif sur de grandes quantités de graphes non étiquetés ou de données grossières. de graphes non étiquetés ou de graphes étiquetés à gros grain pour capturer les abondantes informations structurelles et sémantiques [10]. sémantiques [10]. Le pré-entraînement des GNN consiste à entraîner le modèle sur des données graphiques non étiquetées de manière non supervisée afin d'apprendre des informations utiles sur la structure et la sémantique. de manière non supervisée afin d'apprendre des représentations utiles, qui peuvent être affinées pour les tâches en aval. Ces dernières années, plusieurs ensembles de données graphiques à grande échelle et modèles pré-entraînés ont été proposés, ont été proposés, montrant des performances impressionnantes sur diverses tâches et faisant de l'apprentissage automatique basé sur les graphes [7, 5, 20, 14, 3, 11, 15, 21, 12]. Cependant, il reste encore beaucoup stratégies de pré-entraînement et de modèles, potentiellement multimodaux, qui peuvent capturer des structures de graphe et des dépendances plus complexes. structures de graphe et de dépendances plus complexes. L'objectif principal est d'étudier de nouvelles stratégies pour le pré-entraînement de modèles de grands graphes, en améliorant les performances des modèles dans divers domaines tout en mettant l'accent sur l'évolutivité et la capacité à traiter des graphes comportant des milliards de nœuds et d'arêtes.

Graph Neural Networks (GNNs) have become increasingly popular in recent years due to their effectiveness in handling graph-structured data [6]. However, the success of GNNs heavily relies on abundant task-specific labeled data, which can be extremely scarce in practice [6, 10]. A promising solution is to pre-train a transferable and expressive GNN model on large amounts of unlabeled graphs or coarse-grained labeled graphs to capture the abundant structural and semantic information [10]. Pre-training GNNs involves training the model on unlabeled graph data in an unsupervised manner to learn useful representations, which can be fine-tuned for downstream tasks. In recent years, several large-scale graph datasets and pre-trained models have been proposed, showing impressive performance on various tasks and having significantly advanced the state-of the- art in graph-based machine learning [7, 5, 20, 14, 3, 11, 15, 21, 12]. However, there is still much to be explored in terms of developing new pre-training strategies and models, potentially multimodal, that can capture more complex graph structures and dependencies. The main objective is to investigate novel strategies for pre-training large graph models, enhancing the performance of models across various domains while emphasizing scalability and the ability to handle graphs with billions of nodes and edges.