Encodages multiples pour une représentation et une recherche par le contenu explicables de documents multimédia

Multiple-encodings frameworks for explainable multimedia representation and retrieval

• Auteur / Autrice : Varsha Devi
• Direction : Georges Quénot, Philippe Mulhem
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/12/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (2007-....)
• Partenaire(s) de recherche : Equipe de recherche : Modélisation et recherche d'information multimédia (Grenoble)
• Jury : Président / Présidente : Danielle Ziébelin
• Jury : Examinateurs / Examinatrices : Alexandre Benoît
• Jury : Rapporteurs / Rapporteuses : Jean Martinet, Stéphane Ayache

Mots clés

Mots clés contrôlés

Informatique dans les nuages

Frames (théorie de l'information)

Mots clés libres

Représentation multimédia

Encodages multiples

Recherche d'Information

Multimedia Representation

Multiple Encodings

Information Retrieval

Résumé

Cette thèse se penche sur le domaine de la recherche d'informations multimédias, avec un accent particulier sur la recherche conjointe de vidéos et de textes, appelée vidéo-texte. À l'ère du contenu multimédia vaste et diversifié sur Internet, la recherche de vidéos ou de textes pertinents est devenue un problème difficile. Avant 2012, les approches traditionnelles basées sur les mots-clés pour la recherche de vidéos et de textes étaient inefficaces et dépendaient fortement des annotations humaines. Avec l'avènement des modèles d'apprentissage profond, la performance des systèmes de recherche de vidéos et de textes a largement augmenté. Dans cette thèse, nous examinons trois approches pour la recherche de vidéo-textes : l'approche basée sur les concepts, qui utilise des concepts visuels prédéfinis et une banque de concepts ; l'approche sans concept, qui extrait directement des modèles à partir de données multimédias ; et l'approche hybride, qui combine des éléments des stratégies basées sur les concepts et des stratégies sans concept.L'objectif principal de cette thèse de doctorat est de former et de développer un modèle hybride basé sur l'espace latent et l'espace conceptuel et d'effectuer les tâches de recherche et de classification simultanément, tout en fournissant des explications causales pour les résultats obtenus. Ce modèle de recherche basé sur la causalité vise à améliorer la compréhension du processus de prise de décision par l'utilisateur sans impacter négativement les performances.Cette thèse explore les éléments fondamentaux de la recherche vidéo-texte, en soulignant les défis que posent l'alignement et la recherche d'informations à travers des modalités multiples. Dans la recherche vidéo-texte, l'ambiguïté des requêtes et les banques de concepts prédéfinies peuvent rendre difficile la compréhension précise de l'intention de l'utilisateur. Afin de mieux comprendre l'intention de la requête de l'utilisateur et de surmonter le problème de l'ambiguïté, dans la deuxième partie de cette thèse, nous étendons une approche hybride état de l’art en intégrant les balises Part-of-Speech (PoS) dans le modèle d'encodage double pour la recherche de vidéotexte. Nous étudions l'impact des balises PoS sur les performances et l'explicabilité des résultats de la recherche de vidéo-texte et montrons les avantages de l'utilisation des balises PoS pour améliorer la précision de la recherche, la précision et les performances globales du système.Dans la troisième partie de ce travail, nous proposons un cadre général pour l'analyse des relations entre les différents espaces de représentations d’approches hybrides, l'espace (non-explicable) latent et l'espace (explicable) conceptuel, afin de comprendre dans quelle mesure les espaces explicables se différencient des non-explicables.En outre, la thèse se lance dans une exploration complète de la complémentarité entre ces espaces.Dans l’exploration sur l'explicabilité, la partie des modèles hybrides basée sur les concepts joue un rôle primordial. Elle identifie et extrait des concepts sémantiques à partir de données vidéo et textuelles, visualisées par des nuages de tags, ce qui rend le processus de recherche plus facile à interpréter et à comprendre. Les modèles actuels de l'état de l'art fournissent des explications à l'aide de nuages de mots-clés, mais les explications fournies ne sont pas causales. La dernière partie de cette thèse aborde le problème des l'explications visuelles causales et interprétables pour la recherche vidéo-texte. En fournissant une représentation visuelle des relations causales entre la requête et les résultats récupérés, les nuages de tags renforcent la confiance des utilisateurs et soutiennent les applications où la responsabilité et la perspicacité sont primordiales.

This dissertation focuses on the field of multimedia information retrieval, and more specifically on video-text retrieval. In the era of vast and diverse multimedia content on the internet, finding relevant videos or texts has become a challenging problem. Before 2012, traditional keyword-based approaches for video-text retrieval were inefficient and relied heavily on human annotations. With the advent of deep learning models, the performance of video-text retrieval systems has greatly increased. In this thesis, we delve into three approaches for video-text retrieval: the concept based approach, using pre-defined visual concepts and concept bank; the concept free approach, which directly extracts patterns from multimedia data; and the hybrid approach, which combines elements from both concept-based and concept-free strategies.The core objective of this thesis is to train and develop a hybrid model based on latent space and concept space that performs simultaneously retrieval and classification tasks, while providing the causal explanations for retrieved results. This causality-based retrieval model aims to enhance user understanding of the decision-making process without impacting accuracy.We explore the fundamental elements of video-text retrieval, highlighting the challenges of aligning and retrieving the information across multiple modalities. In video-text retrieval, ambiguity in the queries and pre-defined concept banks can make it difficult to accurately understand the user’s intention. In order to better understand the intention of user query and to overcome the issue of ambiguity, in the second part of this thesis, we extend a hybrid state of the art approach by integrating the Part-of-Speech (PoS) tags into their dual encoding model for video-text retrieval. We explore the impact of PoS-tags on the performance and explainability of video-text retrieval results and show the advantages of using PoS-tags to enhance retrieval accuracy, precision, and overall system performance.In the third part of PhD, we introduced a general framework for analyzing the relationships and the complementarity between different representation spaces in hybrid approaches, namely the (non-explainable) latent space and the (explainable) concept space, in a way to assess to which extend explainable spaces differ from non-explainable ones. Additionally, the thesis embarks on a comprehensive exploration of the complementarity between these spaces.In the pursuit of explainability, the concept based part of the hybrid model plays a critical role. It identifies and extracts semantic concepts from video and textual data, visualized through tag clouds, making the retrieval process more interpretable and comprehensible. Current state of the art models provide explanations using tag-clouds, but the provided explanations are not causal. We addressed the problem of providing causal and interpretable visual explanations for video-text retrieval. By providing a visual representation of the causal relationships between the query and the retrieved results, tag clouds enhance user trust and support applications where accountability and insight are paramount.