Générer et répondre à des questions à partir de textes et de graphes de connaissances

Generating and answering questions across text and knowledge graphs

• Auteur / Autrice : Kelvin Han
• Direction : Claire Gardent, Thiago Castro Ferreira
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 02/12/2024
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Anne Vilnat
• Jury : Examinateurs / Examinatrices : Claire Gardent, Thiago Castro Ferreira, Frédéric Béchet, Sophie Rosset, Catherine Faron
• Jury : Rapporteurs / Rapporteuses : Anne Vilnat, Frédéric Béchet

Mots clés

Mots clés contrôlés

Multilinguisme

Représentation des connaissances

Interrogation (linguistique)

Génération automatique de textes

Systèmes de questions et réponses

Traitement automatique du langage naturel

Mots clés libres

Génération de questions

Réponses aux questions

Génération automatique de textes

Graphes de connaissances

Multilingues

Question generation

Question answering

Natural language generation

Knowledge graphs

Multilingual

Résumé

La génération de questions (QG) est une tâche qui consiste à produire automatiquement une question à partir d'une source d'information en entrée contenant la réponse. Il s'agit d'une sous-tâche de la génération automatique de textes (NLG), elle est également liée à la tâche de questions-réponses (QA), qui est l'opposé de la QG. L'objectif de la QG est de générer une expression linguistique pour rechercher l'information, l'objectif du QA est d'identifier automatiquement la réponse à une question à partir d'une source d'information en entrée. Les deux tâches ont des applications dans des domaines tels que la recherche d'information, les dialogues et les conversations, et aussi dans l'éducation. Lorsque les tâches de QG et de QA sont tout deux utilisées pour évaluation de textes basées sur la QA, elles sont aussi utilisées pour la vérification des faits (notamment les sorties de la NLG qui peuvent être sur le résumé ou la génération de texte à partir des données). La plupart des recherches sur ces deux tâches se concentrent soit sur l'une soit sur l'autre, et généralement dans une seule et unique modalité. Dans le domaine de la QG, les approches antérieures reposaient sur des architectures nécessitant un prétraitement intensif. Les questions ainsi générées ne couvraient ni l'entièreté des informations en entrée, ni la diversité des nuances possibles. Dans le domaine des QA, bien que des approches aient été proposées pour répondre aux question à partir d'informations non structurées (par exemple, un document textuel brute), mais aussi structurées (par exemple, des graphes de connaissances (KG) ou des tableaux), ces méthodes ne sont pas transférables pour une autre modalité. Dans cette thèse, nous nous concentrons d'abord sur la QG, afin d'identifier les moyens de générer des questions à partir d'informations structurées et également non structurées, et de le faire de manière contrôlée pour augmenter la diversité et la couverture des questions générées. Ensuite, nous étudierons également la conduite de la QG et des QA par un modèle capable de générer des questions simples et complexes de manière contrôlée à partir d'une modalité, puis répondre sur une autre modalité. Enfin, nous examinerons la possibilité de faire la même tâche pour les langues avec peu de ressources autres que l'anglais, ce qui pourrait faciliter l'évaluation basée sur les QA pour ces langues.

Question generation (QG) is the task of automatically producing a question given some information source containing the answer. It is a subtask within natural language generation (NLG) but is also closely associated with question answering (QA), which is a counterpoint to QG. While QG is concerned with generating the linguistic expression for seeking information, the QA task is concerned with meeting that need by automatically identifying the answer to a question given some information source. Both tasks have direct applicability in domains such as information retrieval, dialogue and conversation, and education. Recent research also indicates that QG and QA, when used jointly in QA-based evaluation, are helpful for factual verification (especially for NLG outputs such as summarisation and data-to-text generations). When used together to produce a discourse representation, they can also help reduce the propensity of large language models (LLMs) to produce text with hallucinations and factual inaccuracies. While QA has long been studied, and approaches have been proposed as early as the 1960s, QG only started to gain more research attention in recent years. Most research on the tasks is focused on addressing only one of them and doing so for a single modality. In QG, previous approaches typically rely on architectures that require heavy processing and do not generally consider the generation of questions across the entirety of the input information source nor the diversity of the ways a question can be phrased. In QA, although work has been done for answering questions given some unstructured input (e.g. a piece of text), and work has also been done for doing so given some structured input (e.g. knowledge graph (KG) or tables), these methods are typically not transferable for use on another input modality. In this thesis, we are focused on QG foremost, with the aim of identifying ways to generate questions across both structured and unstructured information, namely text and KG inputs,in a manner that is controllable for increasing the diversity, comprehensiveness, and coverageof these questions. We also study QG and QA in concert with a model that can controllably generate both simple and complex questions from one modality and also answer them on another modality, an ability that has relevance for improving QA-based evaluation. Finally, we examine doing so for lower-resourced languages other than English, with the view that being able to do so helps enable similar QA-based evaluation for these languages.