Détection de désinformation multimodale : surmonter le défi de la collecte de données d'entraînement grâce à la génération de données

Multimodal misinformation detection overcoming the training data collection challenge through data generation

• Auteur / Autrice : Antoine Chaffin
• Direction : Vincent Claveau, Ewa Kijak
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/11/2023
• Etablissement(s) : Université de Rennes (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - LinkMedia
• Jury : Président / Présidente : Damien Lolive
• Jury : Examinateurs / Examinatrices : Claire Gardent
• Jury : Rapporteur / Rapporteuse : Olivier Ferret, Benoît Favre

Mots clés

Mots clés contrôlés

Vision par ordinateur

Traitement automatique du langage naturel

Représentation des connaissances

Intelligence artificielle

Mots clés libres

Intelligence artificielle

Infox

Représentation des connaissances

Traitement automatique du langage naturel

Vision par ordinateur

Multimodal

Art numérique

Génératif

Misinformation detection

Training data

Generative models

Cooperative generation

Generative adversarial networks

Multimodality

Résumé

Pour répondre au problème croissant de la désinformation, des outils de vérification automatique de l'information sont nécessaires. Des images étant fréquemment associées à la désinformation, ces modèles doivent être multimodaux. La collecte de suffisamment de données non biaisées nécessaires pour entraîner les modèles est un défi. Dans cette thèse, nous explorons comment les modèles génératifs peuvent être utilisés pour des tâches discriminatives en cas de manque de données. Pour résoudre le problème des récompenses clairsemées des GAN textuels, nous explorons la génération coopérative, où le générateur est guidé par un modèle externe, et nous présentons une méthode originale basée sur le MCTS. Ensuite, nous utilisons la génération coopérative pour créer des explications de modèles boîte noire et réalisons une étude empirique sur la complexité/qualité de différents types de modèles dans le cadre de cette coopération. Enfin, nous explorons l'utilisation de légendes humaines dans l'apprentissage par renforcement d'un modèle de légendage d'images en utilisant des récompenses d'un modèle de recherche cross-modal. Nous concluons en discutant des opportunités et des risques des modèles génératifs dans le contexte de la désinformation et en abordant la question du tatouage numérique.

To tackle the growing issue of misinformation, automated fact-check tools are required. Because images are often found within misinformation, these models need to be multimodal. Collecting enough unbiased data to train the models is challenging. In this thesis, we explore how generative models can be used for discriminative tasks when there is a lack of data. To tackle the sparse rewards issue of textual GANs, we explore cooperative generation where the generator is guided by an external model and present a novel method based on the MCTS. We then use cooperative generation to generate explanations of black-box models and conduct an empirical study on the complexity/quality of different types of models in the cooperative setup. Finally, we explore the use of ground truth caption in a reinforcement learning training of an image captioning model using rewards from a cross-modal retriever. We conclude by discussing the opportunities and risks of generative models in the context of misinformation as well as watermarking.