Modèles neuronaux pour la représentation et l'appariement d'objets géotextuels

Neural models for the representation and matching of geotextual objects

• Auteur / Autrice : Paul Mousset
• Direction : Lynda Tamine-Lechani, Yoann Pitarch
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 08/07/2020
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)

Mots clés

Mots clés contrôlés

Recherche de l'information

Conception orientée objets (informatique)

Réseaux neuronaux (informatique)

Mots clés libres

Réseau de neurones

Géotexte

Recherche d'information

Neural networks

Geotext

Information Retrieval

Résumé

Stimulée par l'usage intensif des téléphones mobiles, l'exploitation conjointe des données textuelles et des données spatiales présentes dans les objets géotextuels (p. ex. tweets, photos Flickr, critiques de points d'intérêt) est devenue la pierre angulaire à de nombreuses applications utilisées quotidiennement, telles que la gestion de crise, l'assistance touristique ou la recommandation de points d'intérêts (POIs). Du point de vue scientifique, ces tâches reposent de façon critique sur la représentation d'objets spatiaux et la définition de fonctions d'appariement entre ces objets. Dans de précédents travaux, ce problème a principalement été traité au moyen de modèles linguistiques qui reposent sur une estimation coûteuse de probabilité de la pertinence des mots dans les régions spatiales. Cependant, ces approches traditionnelles se sont révélées peu efficaces face aux textes issus des réseaux sociaux. En effet, ces derniers sont généralement de courte longueur, utilisent des mots non conventionnels ou ambiguës et peuvent difficilement être mis en correspondance avec d'autres documents, notamment à cause de l'inadéquation du vocabulaire. De fait, les approches proposées jusqu'à présent conduisent généralement à de faibles taux de rappel et de précision. Les travaux réalisés dans cette thèse s'inscrivent dans ce contexte et visent à réduire la discordance de vocabulaire dans les représentations et l'appariement de tweets géotaggés et de POIs. Nous proposons ainsi de tirer parti des contextes géographiques et de la sémantique distributionnelle pour résoudre la tâche de prédiction sémantique de l'emplacement. Notre travail se compose de deux principales contributions : (1) améliorer les plongements lexicaux pouvant être combinés pour construire des représentations d'objets, grâce aux répartitions spatiales des mots ; (2) exploiter les réseaux de neurones profonds pour réaliser un appariement sémantique de tweets avec des POIs. Concernant l'amélioration des représentations de textes, nous proposons une approche de régularisation a posteriori qui intègre l'information spatiale dans l'apprentissage des plongements lexicaux. L'objectif sous-jacent est de révéler d'éventuelles relations sémantiques locales entre les mots, ainsi que la multiplicité des sens d'un même mot. Pour déceler les spécificités locales des différents sens d'un mot, nous proposons deux solutions, l'une s'appuyant sur une technique de partitionnement spatial, via l'algorithme des k-moyennes, l'autre sur un partitionnement probabiliste à l'aide d'estimation de densités (KDE). Les plongements lexicaux sont ensuite corrigés à l'aide d'une fonction de régularisation qui intègre les répartitions spatiales pour déterminer les relations sémantiques locales entre les mots. [...]

Stimulated by the heavy use of smartphones, the joint use of textual and spatial data in space-textual objects (e.g., tweets, Flickr photos, POI reviews) became the mainstay of many applications, such as crisis management, tourist assistance or the finding of places of interest. These tasks are fundamentally based on the representation of spatial objects and the definition of matching functions. In previous work, the problem has been addressed using linguistic models that rely on costly probability estimation of the relevance of words in spatial regions. However, these traditional methods are not very effective when dealing with social network data. These data are usually short, use unconventional or ambiguous words, and are difficult to match with other documents because of vocabulary mismatches. As a result, the proposed approaches generally lead to low recall and precision rates. In this thesis, we focus on tackling the semantic gap in the representation and matching of geotagged tweets and POIs. We propose to leverage geographic contexts and distributional semantics to resolve the semantic location prediction task. Our work consists of two main contributions: (1) improving word embeddings which can be combined to construct object representations using spatial word distributions; (2) exploiting deep neural networks to perform semantic matching between tweets and POIs. Regarding the improvement of text representations, we propose to regularize word embeddings that can be combined to construct object representations. The purpose is to reveal possible local semantic relationships between words and the multiplicity of meanings of the same word. To detect the local specificities of the different meanings, we consider two alternatives. One based on a spatial partitioning method using the k-means algorithm, and the other one based on a probabilistic partitioning using a kernel density estimation (KDE). Word embeddings are then retrofitted using a regularization function that integrates the spatial distributions to compute the local semantic relationships between words. Regarding the use of deep neural networks for the semantic location prediction task, we propose an interaction-based neural model designed for tweet-POI pair matching. Unlike existing architectures, our approach is based on joint learning of local and global interactions between tweet-POI pairs. According to the proposed model, the exact matching signals of the local word-to-word interactions are corrected by a spatial damping factor. Then, these smoothed signals are processed using matching histograms. The local interactions reveal word-pairs patterns similarity driven by spatial information. Global interactions consider the strength of the interaction between the tweet and the POI, both spatially, through a geographical distance between geotextual objects, and semantically, through a semantic proximity of their latent representation.