Étude des modèles multimodaux pour l'analyse automatique de documents

Study of multimodal models for document understanding

• Auteur / Autrice : Adnan Ben mansour
• Direction : David Naccache
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : DIENS - Département d'informatique de l'École normale supérieure
• Partenaire(s) de recherche : Equipe de recherche : SECURITY
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Intelligence artificielle

Apprentissage profond

Multimodalité

Vision artificielle

Traitement automatiquement du langage

Analyse de documents

Artificial intelligence

Deep learning

Multimodality

Computer vision

Natural language processing

Document understanding

Résumé

Cette thèse s'intéresse à l'utilisation de données multimodales, notamment image et texte, en intelligence artificielle. L'objectif est d'explorer les modèles d'apprentissage profond qui exploitent ces données multimodales et d'évaluer leur efficacité. Nous commencerons par examiner les architectures multimodales existantes, mettant en lumière leurs avantages et leurs limites. Notre recherche se concentrera sur la fusion et l'interaction entre les différentes modalités, en mettant en évidence les combinaisons image-texte, tout en restant ouverts à d'autres formes de multimodalité. Une partie substantielle de la thèse se concentrera sur l'impact de la multimodalité sur les paradigmes d'apprentissage. Nous chercherons à concevoir de nouvelles fonctions de coût adaptées aux données multimodales et à explorer de nouveaux paradigmes d'apprentissage exploitant pleinement cette richesse de données. En termes d'applications, cette thèse se concentrera sur l'analyse automatique de documents. Nous examinerons comment les modèles multimodaux peuvent améliorer l'extraction d'informations à partir de documents multimodaux, avec des implications pour l'indexation, la classification et la recherche sémantique. En somme, cette thèse contribuera à notre compréhension de l'utilisation des données multimodales en intelligence artificielle, tant du point de vue des architectures que des paradigmes d'apprentissage. De plus, elle illustrera le potentiel révolutionnaire de ces données dans des applications pratiques, en particulier dans l'analyse automatique de documents.

This thesis focuses on the use of multimodal data, particularly image and text, in artificial intelligence. The goal is to explore deep learning models that leverage this multimodal data and evaluate their effectiveness. We begin by reviewing existing multimodal architectures, highlighting their advantages and limitations. Our research will focus on the fusion and interaction between different modalities, highlighting image-text combinations, while remaining open to other forms of multimodality. A substantial part of the thesis will focus on the impact of multimodality on learning paradigms. We seek to design new cost functions adapted to multimodal data and explore new learning paradigms that fully exploit this wealth of data. In terms of applications, this thesis will focus on automatic document analysis. We examine how multimodal models can improve information extraction from multimodal documents, with implications for indexing, classification, and semantic search. In short, this thesis will contribute to our understanding of the use of multimodal data in artificial intelligence, both from the point of view of architectures and learning paradigms. Furthermore, it will illustrate the revolutionary potential of this data in practical applications, particularly in automatic document analysis.