Décompositions tensorielles pour la complétion de bases de connaissance

Tensor decompositions for knowledge base completion

• Auteur / Autrice : Timothée Lacroix
• Direction : Renaud Marlet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/07/2020
• Etablissement(s) : Paris Est
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Jury : Président / Présidente : Anthony Nouy
• Jury : Examinateurs / Examinatrices : Renaud Marlet, Pierre Comon, Ryota Tomioka, Mikaella Keller, Nicolas Usunier, Guillaume Obozinski, Thomas Hofmann
• Jury : Rapporteurs / Rapporteuses : Pierre Comon, Ryota Tomioka

Mots clés

Mots clés contrôlés

Systèmes experts (informatique)

Calcul des prédicats

Apprentissage automatique

Mots clés libres

Apprentissage automatique

Base de connaissance

Représentations sémantiques

Machine learning

Knowledge bases

Semantic representation

Résumé

Dans cette thèse, nous abordons le problème de prédiction de liens dans des tenseurs binaires d'ordre trois et quatre contenant des observations positives uniquement. Ce type de tenseur apparaît dans les problèmes de recommandations sur le web, en bio-informatique pour compléter des bases d'interactions entre protéines, ou plus généralement pour la complétion bases de connaissances. Ces dernières nous permettent d'évaluer nos méthodes de complétion à grande échelle et sur des types de graphes relationnels variés.Notre approche est parallèle à celle de la complétion de matrice. Nous résolvons de manière non-convexe un problème de minimisation empirique régularisé sur des tenseurs de faible rangs. Dans un premier temps, nous validons empiriquement notre approche en obtenant des performances supérieures à l'état de l'art sur de nombreux jeux de données.Ces performances ne peuvent être atteintes que pour des rangs trop élevés pour que cette méthode soit applicable à l'échelle de bases de connaissances complètes. Nous nous intéressons dans un second temps à la décomposition Tucker, plus expressive que la décomposition Canonique, mais plus difficile à optimiser. En corrigeant l'algorithme adaptatif Adagrad, nous arrivons à optimiser efficacement des décompositions Tucker dont le cœur est aléatoire et fixé. Ces méthodes nous permettent d'améliorer les performances en complétion pour une quantité faible de paramètres par entités.Finalement, nous étudions le cas de base de connaissances temporelles, dans lesquels les prédicats ne sont valides que sur certains intervalles de temps. Nous proposons une formulation faible rang et une régularisation adaptée à la structure du problème, qui nous permet d'obtenir des performances supérieures à l'état de l'art.

In this thesis, we focus on the problem of link prediction in binary tensors of order three and four containing positive observations only. Tensors of this type appear in web recommender systems, in bio-informatics for the completion of protein interaction databases, or more generally for the completion of knowledge bases. We benchmark our completion methods on knowledge bases which represent a variety of relationnal data and scales.Our approach is parallel to that of matrix completion. We optimize a non-convex regularised empirical risk objective over low-rank tensors. Our method is empirically validated on several databases, performing better than the state of the art.These performances however can only be reached for ranks that would not scale to full modern knowledge bases such as Wikidata. We focus on the Tucker decomposition which is more expressive than the Canonical decomposition but also harder to optimize. By fixing the adaptive algorithm Adagrad, we obtain a method to efficiently optimize Tucker decompositions with a fixed random core tensor. With these method, we obtain improved performances on several benchmarks for limited parameters per entities.Finally, we study the case of temporal knowledge bases, in which the predicates are only valid over certain time intervals. We propose a low-rank formulation and regularizer adapted to the temporal structure of the problem and obtain better performances than the state of the art.