Analyse intelligente de documents avec des approches neuronales

Document Understanding with Deep Learning Techniques

• Auteur / Autrice : Kim-Anh Laura Nguyen
• Direction : Benjamin Piwowarski, Julio Laborde
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Soutenance le 30/04/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : François Yvon
• Jury : Examinateurs / Examinatrices : Pascale Sébillot, Antoine Gourru
• Jury : Rapporteur / Rapporteuse : Julien Velcin, Nathalie Aussenac-Gilles

Mots clés

Mots clés contrôlés

Recherche de l'information

Mise en page

Apprentissage profond

Traitement automatique du langage naturel

Mots clés libres

Document Intelligence

Apprentissage Profond

Traitement Automatique du Langage

Document Intelligence

Deep Learning

Natural Language Processing

Résumé

Le domaine de l'Analyse de Documents (Document Understanding), dédié au traitement automatique des documents, fait face à des défis liés à leurs structures complexes et formats variés. Les documents possèdent rarement une structure strictement séquentielle. Leur présentation visuelle, notamment leur mise en page, contient une information sémantique riche, soulignant la nécessité d'inclure des informations multimodales dans les systèmes d'analyse de documents. Malgré des progrès notables découlant de l'avènement de l'apprentissage profond, le domaine doit relever des défis importants. Cette thèse traite deux défis clés : 1) développer des méthodes efficaces et efficientes pour encoder la nature multimodale des documents, et 2) formuler des stratégies pour le traitement performant et efficace de documents longs, en tenant compte de leur apparence visuelle. Pour répondre à la première question de recherche, nous développons des approches basées uniquement sur les informations de mise en page afin de construire des représentations pertinentes pour les tâches subséquentes. Les modèles pré-entraînés multimodaux existants étant développés sans considération d'efficience et n'exploitant pas pleinement la forte corrélation entre le texte et la mise en page, nous présentons un mécanisme d'attention exclusivement basé sur la mise en page, permettant d'améliorer les performances et de rendre l'attention plus parcimonieuse. De plus, nous proposons une stratégie basée exclusivement sur la mise en page pour résoudre les problèmes d'ordre de lecture. Bien que la mise en page capture l'ordre de lecture des documents, les méthodes de pré-entraînement existantes dédiées à l'analyse de documents s'appuient uniquement sur la Reconnaissance Optique de Caractères (OCR) ou l'analyse de PDF pour établir l'ordre de lecture des documents, introduisant potentiellement des erreurs qui peuvent impacter l'ensemble du processus de traitement du texte. Par conséquent, nous proposons un modèle qui exploite uniquement les informations de mise en page pour déterminer l'ordre de lecture des documents. Dans le cadre du deuxième axe de recherche, nous explorons le potentiel de la mise en page pour améliorer les performances des modèles pour les tâches liées aux documents longs et complexes. Pour pallier le manque de ressources et de méthodes pour la modélisation multimodale de documents longs, nous construisons une collection de jeux de données pour le résumé de documents longs avec prise en compte de leur apparence visuelle, et introduisons de nouveaux modèles pouvant traiter des documents longs en tenant compte de leur mise en page.

The field of Document Understanding, which addresses the problem of solving an array of Natural Language Processing tasks for visually-rich documents, faces challenges due to the complex structures and diverse formats of documents. Real-world documents rarely follow a strictly sequential structure. The visual presentation of a document, especially its layout, conveys rich semantic information, highlighting the crucial need for document understanding systems to include multimodal information. Despite notable advancements attributed to the emergence of Deep Learning, the field still grapples with various challenges in real-world applications. This thesis addresses two key challenges: 1) developing efficient and effective methods to encode the multimodal nature of documents, and 2) formulating strategies for efficient and effective processing of long and complex documents, considering their visual appearance. Our strategy to address the first research question involves designing approaches that rely only on layout to build meaningful representations. Multimodal pre-trained models for Document Understanding often neglect efficiency and fail to fully capitalize on the strong correlation between text and layout. We address these issues by introducing an attention mechanism based exclusively on layout information, enabling performance improvement and attention sparsification. Furthermore, we introduce a strategy based solely on layout to address reading order issues. While layout inherently captures the correct reading order of documents, existing pre-training methods for Document Understanding rely solely on OCR or PDF parsing to establish the reading order of documents, potentially introducing inaccuracies that can impact the entire text processing pipeline. Therefore, we discard sequential position information and propose a model that strategically leverages layout information as an alternative means to determine the reading order of documents. In addressing the second research axis, we explore the potential of leveraging layout to enhance the performance of models for tasks related to long and complex documents. The importance of document structure in information processing, particularly in the context of long documents, underscores the need for efficient modeling of layout information. To fill a notable void in resources and approaches for multimodal long document modeling, we introduce a dataset collection for summarization of long documents with consideration for their visual appearance, and present novel baselines that can handle long documents with awareness of their layout.