Méthodes efficaces à grande échelle pour l'acquisition, la recherche et la compréhension des données tabulaires ouvertes

Efficient and Scalable Methods for the Acquisition, Retrieval, and Understanding of Open Tabular Data

• Auteur / Autrice : Antoine Gauquier
• Direction : Pierre Senellart, Ioana Manolescu
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : DIENS - Département d'informatique de l'École normale supérieure
• Partenaire(s) de recherche : Equipe de recherche : VALDA
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure - PSL (ENS-PSL)

Mots clés

Mots clés libres

Données tabulaires ouvertes

Crawl ciblé du Web

Découverte de tableaux

Compréhension de tableurs

Annotation de données

Gestion de données à grande échelle

Open Tabular Data

Focused Web Crawling

Table Discovery

Spreadsheet Understanding

Data Annotation

Scalable Data Management

Résumé

L'objectif est de développer des modèles, algorithmes, et un système capable de construire automatiquement des entrepôts riches de données multimodales. Un tel entrepôt pourra contenir des documents non-structurés (principalement sous forme textuelle, en français ou en anglais), semi-structurés (documents PDF, pages ou sites Web, données extraites de réseaux sociaux, etc.) et structurés (jeux de données tabulés ou présentés sous forme de cubes d'agrégation, aux formats CSV, OpenDocument, etc.). La thèse porte sur : l'acquisition de données depuis des sources de données hétérogènes, l'analyse de ces données pour en extraire des informations structurées et pour relier les données entre elles, et enfin la construction automatique et l'exploitation d'un entrepôt de données pour stocker et interroger ces données dans leur variété. Chacune de ces étapes s'appuiera en particulier sur des méthodes modernes d'intelligence artificielle (p. ex., renforcement pour l'acquisition de contenus ; apprentissage profond, potentiellement avec auto-attention pour l'analyse de contenu texte ou image, etc.). Deux applications sont visées : les théorèmes mathématiques, extraits de la littérature scientifique ; et le journalisme de données statistiques. Une première originalité de notre approche est de considérer les documents, quand cela est pertinent, de manière multimodale (données numériques, texte, image, informations de style…). La multimodalité est un sujet d'actualité en apprentissage, avec par exemple le développement de modèles tels LayoutLM permettant d'analyser de manière jointe le texte et un rendu graphique d'un document, ou encore l'intégration au modèle de langage GPT-4 de la possibilité de combiner prompts textuel et visuel. Notons que l'existence de grands modèles de langues comme GPT-4 ou LLaMA ne résout pas tous les problèmes qui nous intéressent : ils ne sont pas adaptés à toutes les tâches, manquent de traçabilité des résultats et d'informations sur leur fiabilité, ne passent actuellement pas à l'échelle et demandent des ressources de calcul importantes y compris pour l'inférence. Une seconde originalité de ce sujet est de considérer la chaîne complète de traitement, de l'acquisition à l'exploitation de l'entrepôt de données. Ces différentes étapes ne sont pas ainsi vues comme indépendantes, mais peuvent avoir un impact l'une sur l'autre (ainsi, les éléments extraits peuvent servir à alimenter la manière dont on acquiert de nouveaux éléments ; les requêtes effectuées sur l'entrepôt peuvent conduire à y ajouter de nouvelles données et à lancer de nouvelles acquisitions). Nous souhaitons également conserver tout au long de cette chaîne de traitement des informations sur la traçabilité ou provenance de l'information (d'où vient telle information, par quel outil a-t-elle été produite, suite à quelle succession de décisions, etc.) et sur son incertitude (à quel point une information est fiable, en fonction de la fiabilité estimée des sources et outils qui l'ont produite). La thèse est co-encadrée entre Pierre Senellart (équipe Valda, DI ENS & Inria Paris) et Ioana Manolescu (équipe CEDAR, Inria Saclay & LIX). Ils sont des chercheurs dans le domaine de la gestion et de la science des données, utilisant fréquemment des techniques d'intelligence artificielle (apprentissages statistique et profond, traitement du langage et des images, raisonnement) dans leurs recherches. Pierre Senellart apporte sa compétence dans les aspects fondamentaux et pratiques de la gestion de l'incertitude et de la provenance des données, de l'acquisition et de l'extraction d'informations, et la première application aux théorèmes mathématiques, via son projet TheoremKB. Ioana Manolescu apporte son expertise dans les aspects systèmes de la gestion de données complexes et hétérogènes, dans l'extraction d'information à partir de documents non-structurés ou semi-structurés, ainsi que la seconde application au journalisme de données, via son projet SourcesSay.

The aim is to develop models, algorithms and a system capable of automatically building rich multimodal data warehouses. Such a warehouse could contain unstructured documents (mainly in text form, in French or English), semi-structured documents (PDF documents, pages or websites, data extracted from social networks, etc.) and structured documents (datasets tabulated or presented in the form of aggregation cubes, in CSV or OpenDocument formats, etc.). The thesis covers: the acquisition of data from heterogeneous data sources, the analysis of this data to extract structured information and to link the data together, and finally the automatic construction and operation of a data warehouse to store and query this data in all its variety. Each of these stages will rely in particular on modern artificial intelligence methods (e.g. reinforcement learning for content acquisition; deep learning, potentially with self-attention for text or image content analysis, etc.). Two applications are targeted: mathematical theorems, extracted from scientific literature; and statistical data journalism. The first original aspect of our approach is to consider documents, where relevant, in a multimodal manner (digital data, text, images, style information, etc.). Multimodality is a current topic in machine learning, with, for example, the development of models such as LayoutLM, which can analyse text and a graphical rendering of a document together, or the integration into the GPT-4 language model of the possibility of combining textual and visual prompts. It should be noted that the existence of large language models such as GPT-4 or LLaMA does not solve all the problems we are interested in: they are not suitable for all tasks, lack traceability of results and information on their reliability, do not currently scale up and require significant computing resources, even at inference time. A second original aspect of this subject is that it considers the entire processing chain, from acquisition to exploitation of the data warehouse. These different stages are not seen as independent, but can have an impact on each other (for example, extracted elements can be used to feed the way in which new elements are acquired; queries made on the warehouse can lead to new data being added and new acquisitions being launched). Throughout this processing chain, we also want to retain information on the traceability or provenance of the information (where such information comes from, what tool was used to produce it, what sequence of decisions was followed, etc.) and on its uncertainty (how reliable a piece of information is, depending on the estimated reliability of the sources and tools that produced it). The thesis is co-supervised by Pierre Senellart (Valda team, DI ENS & Inria Paris) and Ioana Manolescu (CEDAR team, Inria Saclay & LIX). They are researchers in the field of data management and data science, frequently using artificial intelligence techniques (statistical and deep learning, language and image processing, reasoning) in their research. Pierre Senellart brings his expertise in the fundamental and practical aspects of managing uncertainty and data provenance, information acquisition and extraction, and the first application to mathematical theorems, via his TheoremKB project. Ioana Manolescu is contributing her expertise in the systems aspects of managing complex and heterogeneous data, extracting information from unstructured or semi-structured documents, and the second application to data journalism, via her SourcesSay project.