Enrichissement sémantique non supervisé de longs documents spécialisés pour la recherche d’information

Unsupervised Semantic Expansion of Specialized Long Documents for Information Retrieval

• Auteur / Autrice : Oussama Ayoub
• Direction : Nicolas Travers
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 22/12/2023
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris)
• Partenaire(s) de recherche : Laboratoire : Centre d'études et de recherche en informatique et communications (Paris) - Centre d'études et de recherche en informatique et communications
• Partenaire(s) de recherche : établissement de préparation de la thèse : Conservatoire national des arts et métiers (France ; 1794-....)
• Jury : Président / Présidente : Nedra Mellouli
• Jury : Examinateurs / Examinatrices : Aomar Osmani, Haïfa Zargayouna, Christrophe Rodrigues
• Jury : Rapporteur / Rapporteuse : Nedra Mellouli, Salima Benbernou

Mots clés

Mots clés contrôlés

Recherche de l'information

Apprentissage profond

Mots clés libres

Recherche d’Information Ad-Hoc

Apprentissage Profond

Plongement de mot

Enrichissement de document

Filtrage

Non supervisé

Ad-Hoc Information Retrieval

Deep Learning

Word Embedding

Document expansion

Filtering

Unsupervised

Résumé

Face à l'accroissement incessant des données textuelles à traiter, les systèmes de Recherche d'Information (RI) doivent faire face à l'adaptation des mécanismes existants pour une sélection pertinente des ensembles documentaires dédiés à un contexte spécifique. Une difficulté prépondérante réside dans la divergence terminologique entre les termes employés dans les requêtes et ceux présents dans les documents. Cette disparité sémantique, particulièrement prononcée pour les termes de sens proches dans les documents issus de domaines spécialisés de grande taille, pose un défi significatif en RI. Face à ces enjeux, de nombreuses études se sont limitées à l'enrichissement de requêtes via des modèles supervisés, une approche qui s'avère inadéquate pour une application industrielle et manque de flexibilité. Cette thèse propose une alternative novatrice avec un système de recherche non supervisé basé sur des méthodes d'Apprentissage Profond. La plateforme LoGE utilise un modèle de langage masqué pour extrapoler des termes associés, enrichissant ainsi la représentation textuelle des documents. Les modèles utilisés sont entraînés préalablement sur de vastes corpus textuels, intégrant des connaissances générales ou spécifiques à un domaine, optimisant ainsi la représentation des documents. L'analyse des extensions générées a révélé un déséquilibre entre le signal (termes pertinents ajoutés) et le bruit (termes non pertinents). Pour pallier ce problème, nous avons développé SummVD, une approche de résumé automatique extractif, utilisant la décomposition en valeurs singulières pour synthétiser l'information contenue dans les documents et identifier les phrases les plus pertinentes. Cette méthode a été adaptée pour filtrer les termes des extensions en fonction du contexte local de chaque document, afin de maintenir la pertinence de l'information tout en minimisant le bruit.

Faced with the incessant growth of textual data that needs processing, Information Retrieval (IR) systems are confronted with the urgent need to adopt effective mechanisms for efficiently selecting document sets that are best suited to specific queries. A predominant difficulty lies in the terminological divergence between the terms used in queries and those present in relevant documents. This semantic disparity, particularly pronounced for terms with similar meanings in large-scale documents from specialized domains, poses a significant challenge for IR systems.In addressing these challenges, many studies have been limited to query enrichment via supervised models, an approach that proves inadequate for industrial application and lacks flexibility. This thesis proposes LoGE an innovative alternative with an unsupervised search system based on advanced Deep Learning methods. This system uses a masked language model to extrapolate associated terms, thereby enriching the textual representation of documents. The Deep Learning models used, pre-trained on extensive textual corpora, incorporate general or domain-specific knowledge, thus optimizing the document representation.The analysis of the generated extensions revealed an imbalance between the signal (relevant terms added) and the noise (irrelevant terms). To address this issue, we developed SummVD, an innovative extractive automatic summarization approach, using singular value decomposition to synthesize the information contained in documents and identify the most pertinent phrases. This method has been adapted to filter the terms of the extensions based on the local context of each document, thereby maintaining the relevance of the information while minimizing noise.