Évaluation et amélioration de la qualité d'explication de la prédiction des liens par réseau neuronal sur les graphes de connaissances

Evaluating and improving explanation quality of graph neural network link prediction on knowledge graphs

• Auteur / Autrice : Nicholas Halliwell
• Direction : Fabien Gandon
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/11/2022
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Andrea Tettamanzi
• Jury : Examinateurs / Examinatrices : Fabien Gandon, Andrea Tettamanzi, Fatiha Saïs, Adrien Coulet
• Jury : Rapporteurs / Rapporteuses : Fatiha Saïs, Adrien Coulet

Mots clés

Mots clés contrôlés

Prédiction séquentielle

Réseaux neuronaux (informatique)

Apprentissage automatique

Graphes de lien

Représentation des connaissances

Mots clés libres

Graphe de connaissances

Apprentissage automatique

Évaluation des explications

Prédiction de liens

Réseaux neuronaux de graphes

Modèles de séquence à séquence

Knowledge graph

Machine learning

Explanation evaluation

Link prediction

Graph neural networks

Sequence to sequence models

Résumé

Les graphes de connaissances contiennent une collection de faits sur monde réel, où les nœuds représentent des entités liées par certaines relations. Ils sont utilisés dans de nombreuses applications, notamment la recherche d'informations, l'intégration de données ou les agents conversationnels. Cependant, les graphes de connaissances sont souvent incomplets. La prédiction de liens sur les graphes de connaissances est alors utilisée pour inférer de nouveaux faits à partir de ceux existants. Plusieurs modèles existent pour effectuer la prédiction de liens sur les graphes de connaissances. Une méthode actuellement étudiée est l'utilisation de réseaux convolutifs de graphes relationnels (RGCNs). Mais ces modèles sont essentiellement traités comme des boîtes noires, où aucune information n'est donnée à l'utilisateur sur la raison pour laquelle le modèle a fait une prédiction particulière. Souvent, la prédiction seule n'est pas suffisante pour les utilisateurs du modèle qui doivent prendre des décisions. Sans explication sur la raison pour laquelle le modèle a fait une prédiction, ces modèles ne peuvent pas être adoptés dans des contextes réels tels que la banque, le marketing et le diagnostic médical. Récemment, des chercheurs ont proposé plusieurs algorithmes, ou méthodes, pour expliquer pourquoi un modèle de prédiction de liens RGCN a pris une décision particulière. Ces méthodes d'explication sont appliquées à posteriori à un modèle de prédiction. Mais, les différentes méthodes d'explication ne renvoient pas toujours la même explication pour la même entrée. De plus, plusieurs méthodes d'explication existent pour expliquer les résultats des RGCN pour la prédiction de liens sur les graphes de connaissances. Le principal inconvénient de ces méthodes d'explication est l'évaluation empirique de la qualité de l'explication. Il n'existe aucun ensemble de données standard pour comparer quantitativement les explications entre les méthodes d'explication. De plus, il n'existe aucune mesure d'évaluation standard pour quantifier la qualité de l'explication donnée à l'utilisateur. Cela rend les comparaisons entre les méthodes d'explication difficiles. Dans cette thèse, nous proposons une méthode permettant de générer plusieurs ensembles de données avec une vérité terrain pour les explications afin d'évaluer quantitativement la qualité des explications produites par les méthodes d'explication post hoc pour les RGCNs. De plus, nous proposons plusieurs mesures de notation pour quantifier la qualité de l'explication donnée à l'utilisateur. Les résultats du benchmark de plusieurs méthodes d'explication de pointe montrent que ces méthodes ne produisent souvent pas d'explications de haute qualité. Nous proposons un RGCN qui incorpore les explications de la vérité terrain dans l'intégration des graphes. Nous constatons cependant que la qualité des explications reste faible, en particulier pour les explications longues. Enfin, nous proposons un modèle Séquence-à-Séquence qui apprend à générer des explications pour un RGCN. Nous constatons des améliorations significatives de la qualité des explications par rapport aux méthodes d'explication de l'état de l'art, en particulier pour les explications plus longues.

Knowledge Graphs contain a collection of real world facts, where nodes represent entities linked by some relationship. They are used in many applications, including information retrieval, data integration, and chat-bots. Knowledge Graphs are often incomplete. Link prediction on Knowledge Graphs is used to infer new facts from existing ones. Several models exist to perform link prediction on Knowledge Graphs, one popular method is the use of Relational Graph Convolutional Networks (RGCNs). These models are treated as a black box, where no information is given to the user as to why the model has made a particular decision. Often the prediction alone is not enough for users of the model who need to make decisions. Without an explanation as to why the model has made a prediction, these models cannot be adopted into real world settings such as banking, marketing, and medical diagnosis. Recently researchers have proposed several algorithms, or explanation methods, to explain why a black box link prediction model has made a particular decision. These explanation methods are applied to a model post hoc. The different explanation methods do not always return the same explanation for the same input. Moreover, multiple explanation methods exist to explain the results of RGCNs for link prediction on Knowledge Graphs. The main drawback of these explanation methods is the empirical evaluation of explanation quality. No standard dataset exists to quantitatively compare explanations across explanation methods. Additionally, no standard evaluation metrics exist to quantify the quality of explanation given to the user. This makes comparisons across explanation methods difficult. In this thesis, we propose a method to generate several datasets with ground truth explanations to quantitatively evaluate the quality of explanation produced by post hoc explanation methods for RGCNs. Additionally, we propose several scoring metrics to quantify the quality of explanation given to the user. Benchmark results of several state-of-the-art explanation methods show that these methods often do not produce high quality explanations. We propose an RGCN that incorporates ground truth explanations into the graph embeddings. We find however that explanation quality was still low, especially on longer explanations. Lastly, we propose a Sequence-to-Sequence model that learns to generate RGCN explanations. We find significant improvements of explanation quality over state-of-the-art explanation methods, particularly on longer explanations.