Intégration d’informations contextuelles et de sens commun pour la compréhension automatique du discours : contributions à la classification des relations temporelles et à la résolution des anaphores associatives

Integrating contextual and commonsense information for automatic discourse understanding : contributions to temporal relation classification and bridging anaphora resolution

• Auteur / Autrice : Onkar Pandit
• Direction : Marc Tommasi
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 23/09/2021
• Etablissement(s) : Université de Lille (2018-2021)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Centre de Recherche en Informatique, Signal et Automatique de Lille - Centre de Recherche en Informatique- Signal et Automatique de Lille - UMR 9189 / CRIStAL
• Jury : Président / Présidente : Sylvain Salvati
• Jury : Examinateurs / Examinatrices : Pascal Denis, Liva Ralaivola, Philippe Muller, Natalia Grabar
• Jury : Rapporteur / Rapporteuse : Ivana Kruijff-Korbayova, Vincent Ng

Mots clés

Mots clés contrôlés

Contexte (linguistique)

Exploration de données

Apprentissage automatique

Informatique

Analyse du discours

Traitement automatique du langage naturel

Mots clés libres

Extraction de l’information

Natural language Processing

Information extraction

Machine learning

Résumé

L'établissement d'un ordre temporel entre les événements et la résolution des références de pontage sont cruciaux pour la compréhension automatique du discours. Pour cela, des représentations efficaces d'événements et de mentions sont essentielles pour résoudre avec précision la classification des relations temporelles et la résolution des ponts. Cette thèse aborde exactement cela et conçoit de nouvelles approches pour obtenir des représentations d'événements et de mentions plus expressives.Des informations contextuelles et de bon sens sont nécessaires pour obtenir de telles représentations efficaces. Cependant, les acquérir et les injecter est une tâche difficile car, d'une part, il est difficile de distinguer le contexte utile lui-même de paragraphes ou de documents plus volumineux et tout aussi difficile de traiter de plus grands contextes informatiquement. D'un autre côté, obtenir des informations de bon sens comme les humains en acquièrent reste une question de recherche ouverte. Les tentatives antérieures de représentations manuelles d'événements et de mentions ne sont pas suffisantes pour acquérir des informations contextuelles. De plus, la plupart des approches sont inadéquates pour capturer des informations de bon sens, car elles ont à nouveau eu recours à des approches sélectives pour acquérir ces informations à partir de sources telles que des dictionnaires, le Web ou des graphiques de connaissances. Dans notre travail, nous nous débarrassons de ces approches inefficaces d'obtention de représentations d'événements et de mentions.Premièrement, nous obtenons des informations contextuelles pour améliorer les représentations d'événements en fournissant des n-mots voisins de l'événement. Nous constatons que nos représentations d'événements améliorées démontrent des gains substantiels par rapport à une approche qui ne reposait que sur les incorporations de tête d'événement. De plus, notre étude sur l'ablation prouve l'efficacité de l'apprentissage par interaction complexe ainsi que le rôle des incrustations de caractères.Ensuite, nous sondons des modèles de langage de transformateur (par exemple, BERT) qui se sont avérés meilleurs pour capturer le contexte. Nous étudions spécifiquement l'inférence de pontage pour comprendre la capacité de ces modèles à capturer des informations de pontage. Le but de cette enquête est d'utiliser ces compréhensions pour prendre des décisions éclairées lors de la conception de meilleurs modèles de transformateurs afin d'améliorer encore les représentations des mentions.Pour cela, nous examinons individuellement la structure interne du modèle puis l'ensemble du modèle. L'enquête montre que les modèles pré-entraînés sont étonnamment bons pour capturer des informations de transition et que ces capacités dépendent fortement du contexte, car elles fonctionnent mal avec des contextes déformés. Enfin, nous combinons à la fois des informations contextuelles et de bon sens pour améliorer encore les représentations des événements et des mentions. Nous adoptons une approche fondée sur des principes pour acquérir de telles connaissances où nous utilisons des plongements de nœuds de graphe appris sur des graphes de connaissances pour capturer la topologie globale du graphe, obtenant ainsi des informations externes holistiques. Plus précisément, nous avons utilisé des intégrations de nœuds de graphe apprises sur Wordnet et TEMPROB et les avons combinées avec des intégrations de texte uniquement telles que word2vec, BERT, etc. pour obtenir des représentations conscientes. Nous avons évalué notre approche sur des ensembles de données standard comme ISNotes, BASHI et ARRAU pour combler la résolution d'anaphores et MATRES pour la classification des relations temporelles.

Establishing temporal order between events and resolving bridging references are crucial for automatic discourse understanding. For that, effective event and mention representations are essential to accurately solve temporal relation classification and bridging resolution. This thesis addresses exactly that and designs novel approaches to obtain more expressive event and mention representations.Contextual and commonsense information are needed for obtaining such effective representations. However, acquiring and injecting them is a challenging task because, on the one hand, it is hard to distinguish useful context itself from bigger paragraphs or documents and also equally difficult to process bigger contexts computationally. On the other hand, obtaining commonsense information like humans acquire, is still an open research question. The earlier attempts of hand engineered event and mention representations are not sufficient for acquiring contextual information. Moreover, most of the approaches are inadequate at capturing commonsense information as they again resorted to hand-picky approaches of acquiring such information from sources like dictionaries, web, or knowledge graphs. In our work, we get rid of these inefficacious approaches of getting event and mention representations.First, we obtain contextual information to improve event representations by providing neighboring n-words of the event. We also use character-based representation of events capture tense, and aspect information from the internal structure of event head words. We also go a step further and learn interactions over these event representations to get rich event-pair representations. We find that our improved event representations demonstrate substantial gains over an approach which relied only on the event head embeddings. Also, our ablation study proves the effectiveness of complex interaction learning as well as the role of character embeddings. Next, we probe transformer language models(e.g. BERT) that are proved to be better at capturing context. We investigate specifically for bridging inference to understand the capacity of these models at capturing bridging information. The purpose of this investigation is to use these understandings for making informed decisions at designing better transformer models to further improve mention representations. For that, we examine the model's internal structure individually and then the whole model. The investigation shows that pre-trained models are surprisingly good at capturing bridging information and these capabilities are highly context dependent, as they perform poorly with distorted contexts. Further, our qualitative analysis shows that BERT is capable of capturing basic commonsense information but fails to capture sophisticated information which is required for bridging resolution. Finally, we combine both contextual and commonsense information for further improving event and mention representations. We inject commonsense information with the use of knowledge graphs for both temporal relation classification and bridging anaphora resolution tasks. We take a principled approach at acquiring such knowledge where we employ graph node embeddings learned over knowledge graphs to capture the overall topology of the graph as a result gaining holistic external information. Specifically, we used graph node embeddings learned over Wordnet and TEMPROB and combined them with text-only embeddings like word2vec, BERT, etc. to obtain knowledge-aware representations. We evaluated our approach over standard datasets like ISNotes, BASHI, and ARRAU for bridging anaphora resolution and MATRES for temporal relation classification. We observe substantial gains in performances over text-only representations on both tasks proving the effectiveness of our approach.