Complétion de graphes de connaissances à l'aide de graphes intégrés et de grands modèles de langage

Knowledge Graph Completion using Graph Embeddings and Large Language Models

• Auteur / Autrice : Yiwen Peng
• Direction : Thomas Bonald
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Equipe de recherche : DIG – Data, Intelligence and Graphs

Mots clés

Mots clés libres

Complétion du graphe de connaissances

Grands modèles de langage

Apprentissage à partir de zéro

Apprentissage de la représentation graphique

Knowledge Graph Completion

Large Language Models

Zero-shot Learning

Graph Representation Learning

Résumé

1. Contexte scientifique Les graphes de connaissances (KG) ont récemment attiré l'attention en raison de leur applicabilité à divers domaines de recherche, allant de la gestion, de la représentation et du raisonnement des connaissances à l'apprentissage de représentations sur les KG. Les graphes de connaissances représentent les connaissances sous la forme de relations entre les entités, appelées faits, ainsi que des informations schématiques sous la forme d'ontologies. Les KG ont été utilisés pour diverses tâches en aval telles que la recherche sur le web, les systèmes de recommandation et la réponse aux questions. Ces tâches peuvent également tirer parti des grands modèles linguistiques (LLM) qui ont récemment révolutionné le paysage de l'intelligence artificielle. Les LLM sont utilisés pour diverses tâches de traitement du langage naturel (NLP) en aval, telles que la compréhension du langage naturel, la réponse aux questions, le raisonnement, etc. Les LLM comprennent des modèles de langage masqués tels que BERT, RoBerta, etc., et des modèles de langage génératifs tels que LLaMa, ChatGPT et GPT-4. Les LLM ont fait preuve de performances élevées dans les paradigmes d'apprentissage à quelques coups ou à zéro coup par le biais de l'incitation et de l'apprentissage en contexte. Malgré leurs performances remarquables dans diverses tâches de TAL, les LLM sont formés sur des données à usage général et ont des performances moindres dans les tâches spécifiques à un domaine, ce qui a conduit à la publication de divers LLM spécifiques à un domaine, tels que BioBERT, Galactica, etc. En outre, les LLM ont montré des préjugés sociétaux conduisant à la discrimination puisque les données sur lesquelles les LLM sont entraînés contiennent ce type de préjugés. En outre, les LLM souffrent de problèmes d'hallucination. Enfin, les LLM sont des modèles opaques qui manquent d'interprétabilité. Une solution potentielle à ces problèmes est d'induire la connaissance des KG vers les LLM, puisque les KG représentent explicitement des informations factuelles de manière structurée sous la forme de triples. Les KG sont connus pour leurs capacités de raisonnement et pour la production de résultats interprétables. Les KG et les LLM sont donc complémentaires et peuvent bénéficier de leurs capacités respectives. Cet aspect a récemment fait l'objet d'une attention particulière : les LLM peuvent être enrichis de connaissances externes, les KG peuvent être enrichis de LLM, ou les deux peuvent être combinés pour améliorer les capacités de raisonnement. Les KG souffrent toutefois d'un manque d'exhaustivité en raison de leur génération manuelle ou automatisée. La génération manuelle conduit à des connaissances limitées représentées par le conservateur et contient des biais de conservateur, tandis que la génération automatique peut conduire à des informations erronées ou manquantes. Pour compléter les KG, divers modèles basés sur des règles ou sur l'intégration ont été proposés. 2. État de l'art Plusieurs études ont examiné l'état de l'art (SoTA) en matière d'achèvement des KG. Les travaux de Paulheim [5] présentent une étude des articles relatifs au raffinement des KG, y compris diverses approches classiques et basées sur des règles pour la complétion des KG. D'autres études se concentrent spécifiquement sur les méthodes de complétion des KG basées sur l'intégration des KG. Wang et al [7] organisent les algorithmes de complétion de KG basés sur l'intégration en fonction de leurs fonctions de notation, telles que les modèles de traduction, les modèles de correspondance sémantique, etc. Toutefois, cette étude n'aborde pas les méthodes proposées pour compléter les KG à l'aide d'informations multimodales liées à une entité ou à une relation, telles que des images, du texte et des littéraux numériques. Ces aspects sont abordés dans l'étude de Gesese et al [3], qui classe ces méthodes en fonction de la fonction de notation (inspirée de [7]) et des modalités multiples. L'étude présente des comparaisons théoriques et expérimentales des approches existantes. Bianchi et al [1] présentent brièvement les méthodes d'intégration KG et donnent un aperçu des aspects explicatifs de ces méthodes. 3. Objectifs de la thèse Compte tenu de l'état de l'art dans le domaine de l'achèvement des KG, divers aspects seront pris en compte dans les thèses de doctorat actuelles. 1) Prédiction du type d'entité. Le typage des entités [2] est l'un des aspects importants de la complétion automatique des bases de connaissances. Les algorithmes actuels sont principalement basés sur l'apprentissage supervisé. Cette thèse se concentrera davantage sur l'apprentissage à partir de zéro, où une entité peut se voir attribuer un type qui n'a pas été vu dans les données d'apprentissage. Cette approche est particulièrement adaptée aux bases de connaissances évolutives ainsi qu'aux applications spécifiques à un domaine, où l'étiquetage manuel n'est pas abordable. 2) Correspondance entre les ontologies. L'appariement d'ontologies consiste à trouver des correspondances entre les classes de deux ontologies, c'est-à-dire à prédire les correspondances/liens entre les deux ontologies. L'initiative d'évaluation de l'alignement des ontologies (OAEI) fournit plusieurs ensembles de données de référence ainsi qu'une méthode d'évaluation unifiée pour ce problème. La plupart des ensembles de données de l'OAEI contiennent des informations structurelles, qui sont exploitées par de nombreux systèmes de mise en correspondance. Dans la pratique, cela suppose que les ontologies soient bien structurées, ce qui n'est pas nécessairement le cas pour les graphes de connaissances (KG) interdomaines et générés automatiquement. L'une des études récentes utilise la description textuelle des classes à l'aide de LLM masqués [6]. Cette étude ne tient actuellement pas compte des relations spécifiques à aligner entre les classes des deux ontologies, telles que subClassOf, et n'aligne pas non plus les relations existant entre ces classes, ce qui permet d'exploiter les informations structurelles. De plus, elle ne prend pas en compte l'aspect dynamique des ontologies [4]. 4. References [1] F. Bianchi, G. Rossiello, L. Costabello, M. Palmonari, and P. Minervini. Knowledge graph embeddings and explainable AI. In Knowledge Graphs for eXplainable Artificial Intelligence: Foundations, Applications and Challenges, volume 47, pages 49–72. IOS Press, 2020. [2] R. Biswas, J. Portisch, H. Paulheim, H. Sack, and M. Alam. Entity type prediction leveraging graph walks and entity descriptions. In International Semantic Web Conference (ISWC), 2022. [3] G. A. Gesese, R. Biswas, M. Alam, and H. Sack. A survey on knowledge graph embeddings with literals: Which model links better literally? Semantic Web, 12(4):617–647, 2021. [4] J. Li, J. Tang, Y. Li, and Q. Luo. Rimom: A dynamic multistrategy ontology alignment framework. IEEE Trans. Knowl. Data Eng., 21(8):1218–1232, 2009. [5] H. Paulheim. Knowledge graph refinement: A survey of approaches and evaluation methods. Semantic Web, 8(3):489–508, 2017. [6] Y. Peng, M. Alam, and T. Bonald. Ontology matching using textual class descriptions. 2023. [7] Q. Wang, Z. Mao, B. Wang, and L. Guo. Knowledge graph embedding: A survey of approaches and applications. IEEE Trans. Knowl. Data Eng., 29(12):2724–2743, 2017.

1. Scientific Context Knowledge Graphs (KGs) have recently gained attention due to their applicability to diverse research fields, ranging from knowledge management, representation, and reasoning to learning representations over KGs. KGs represent knowledge in the form of relations between entities, referred to as facts, along with schematic information in the form of ontologies. KGs have been used for various downstream tasks such as web search, recommender systems, and question answering. These tasks can also take advantage of Large Language Models (LLMs) which have recently revolutionized the landscape of the field of Artificial Intelligence. LLMs are used for various downstream Natural Language Processing (NLP) tasks such as natural language understanding, question answering, reasoning, etc. LLMs include masked language models such as BERT, RoBerta, etc., and generative language models such as LLaMa, ChatGPT, and GPT-4. LLMs have shown high performance in few-shot or zero-shot learning paradigms via prompting and in-context learning. Despite their remarkable performance in various NLP tasks, LLMs are trained on general-purpose data and have lower performance in domain-specific tasks leading to the release of various domain-specific LLMs such as BioBERT, Galactica, etc. Furthermore, LLMs have shown societal bias leading to discrimination since the data on which the LLMs are trained to contain these kinds of biases. Additionally, LLMs suffer from hallucination problems. Last but not least, LLMs are opaque models that lack interpretability. A potential solution to these problems is to induce the knowledge from KGs to LLMs, since KGs explicitly represent factual information in a structured way in the form of triples. KGs are known for their reasoning capabilities and for generating interpretable results. KGs and LLMs are thus complementary and can benefit from the capabilities of each other. This aspect has attracted attention recently where LLMs can be enhanced with external knowledge, KGs can be augmented with LLMs, or both can be brought together to enhance reasoning capabilities. KGs, however, suffer from incompleteness because of manual or automated generation. Manual generation leads to limited knowledge represented by the curator and contains curator bias, while automatic generation may lead to erroneous or missing information. To perform KG completion, various rule-based as well as embedding-based models have been proposed. 2. State of the Art Several studies have surveyed the state-of-the-art (SoTA) in KG completion. The work by Paulheim [5] provides a survey of the articles related to KG refinement including various classical and rule-based approaches for KG completion. Other surveys specifically focus on KG embedding-based methods for KG completion. Wang et al. [7] organize the algorithms for embedding-based KG completion according to their scoring functions such as translational models, semantic matching models, etc. However, this survey does not discuss the methods proposed for KG completion using multimodal information related to an entity or relation such as images, text, and numeric literals. These aspects are targeted in the survey by Gesese et al. [3], which categorizes these methods based on scoring function (inspired by [7]) as well as based on multiple modalities. The survey shows theoretical as well as experimental comparisons of the existing approaches. Bianchi et al. [1] briefly introduce KG embedding methods and provide insights into the explainability aspects of these methods. 3. Objectives Given the state of the art in the field of KG completion, various aspects will be taken into account in the current doctoral theses. 1) Entity Type Prediction. Entity typing [2] is one of the important aspects of automatic knowledge base completion. Current algorithms are mainly based on supervised learning. This thesis will further focus on zero-shot learning, where an entity can be assigned a type that has not been seen in the training data. This approach is particularly suitable for evolving knowledge bases as well as domain-specific applications, where manual labeling is not affordable. 2) Ontology Matching. Ontology matching is the task of finding mappings between classes of two ontologies, i.e., predicting correspondences/links between the two ontologies. The Ontology Alignment Evaluation Initiative (OAEI) provides several benchmark datasets along with a unified evaluation methodology for this problem. Most datasets of the OAEI contain structural information, which is exploited by many matching systems. In practice, this requires the ontologies to be well-structured, which is not necessarily the case for cross-domain and automatically generated Knowledge Graphs (KGs). One of the recent studies has been conducted which uses the textual description of the classes making use of Masked LLMs [6]. This study currently does not take into account specific relations to be aligned between the classes of the two ontologies such as subClassOf, moreover, it also does not align the relations existing between those classes leading to exploiting the structural information. Furthermore, it does not consider the dynamic aspect of the ontologies [4]. 4. References [1] F. Bianchi, G. Rossiello, L. Costabello, M. Palmonari, and P. Minervini. Knowledge graph embeddings and explainable AI. In Knowledge Graphs for eXplainable Artificial Intelligence: Foundations, Applications and Challenges, volume 47, pages 49–72. IOS Press, 2020. [2] R. Biswas, J. Portisch, H. Paulheim, H. Sack, and M. Alam. Entity type prediction leveraging graph walks and entity descriptions. In International Semantic Web Conference (ISWC), 2022. [3] G. A. Gesese, R. Biswas, M. Alam, and H. Sack. A survey on knowledge graph embeddings with literals: Which model links better literally? Semantic Web, 12(4):617–647, 2021. [4] J. Li, J. Tang, Y. Li, and Q. Luo. Rimom: A dynamic multistrategy ontology alignment framework. IEEE Trans. Knowl. Data Eng., 21(8):1218–1232, 2009. [5] H. Paulheim. Knowledge graph refinement: A survey of approaches and evaluation methods. Semantic Web, 8(3):489–508, 2017. [6] Y. Peng, M. Alam, and T. Bonald. Ontology matching using textual class descriptions. 2023. [7] Q. Wang, Z. Mao, B. Wang, and L. Guo. Knowledge graph embedding: A survey of approaches and applications. IEEE Trans. Knowl. Data Eng., 29(12):2724–2743, 2017.