Approches multimodales d'apprentissage automatique pour la détection des rumeurs dans les microblogs

Multimodal Machine Learning Approaches for Rumor Detection in Microblogs

• Auteur / Autrice : Abderrazek Azri
• Direction : Jérôme Darmont
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 07/07/2022
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale en Informatique et Mathématiques de Lyon (2009-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Lumière (Lyon ; 1969-....)
• Partenaire(s) de recherche : Laboratoire : Entrepôts, Représentation et Ingénierie des Connaissances
• Jury : Président / Présidente : Christophe Gravier
• Jury : Examinateurs / Examinatrices : Guillaume Cabanac, Nouria Harbi, Cécile Favre
• Jury : Rapporteurs / Rapporteuses : Pascale Kuntz-Cosperec, Cédric Wemmert

Mots clés

Mots clés contrôlés

Réseaux sociaux (Internet)

Apprentissage profond

Apprentissage supervisé (intelligence artificielle)

Rumeur

Mots clés libres

Rumeurs

Microblog

Apprentissage multimodal

Apprentissage supervisé

Apprentissage ensembliste

Apprentissage profond

Ingénierie des caractéristiques

Métriques de qualité d’image

Analyse de sentiments

Jeux de données

Rumors

Microblog

Multimodal learning

Feature engineering

Image quality metrics

Sentiment analysis

Datasets

Résumé

La nature ubiquitaire et la popularité des plateformes de médias sociaux entraînent la génération d’une grande quantité de données multimédia. L’ouverture et la facilité de partage sur ces plateformes favorisent la diffusion de l’information sans nécessairement tenir compte de sa véracité. Sans moyen de vérification et d’analyse du contenu échangé, les rumeurs peuvent affecter sérieusement la crédibilité de ces plateformes et engendrer des conséquences désastreuses dans la vie réelle. L’objectif de cette thèse est de proposer des solutions au problème de la classification automatique de la véracité des rumeurs dans les sites de microblogging. En se basant sur le contenu riche et de nature diverse fourni par ces plateformes nous considérons plusieurs caractéristiques des messages, notamment le texte, le contexte social, les sentiments et les images pour analyser leur véracité.Nous proposons un cadre pour la fusion multimodale de caractéristiques qui s’appuie sur plusieurs modèles d’apprentissage automatique pour l’évaluation de la véracité des messages, ainsi que son implémentation dans le framework MONITOR (Multimodal Fusion Framework to Assess Message Veracity in Social Networks). L’originalité de ce travail réside notamment dans le recours à des indicateurs de qualité d’image comme caractéristiques des images pour qu’ils soient utilisés dans un contexte de détection de rumeurs.Afin d’améliorer les performances de MONITOR, nous exploitons également l’apprentissage ensembliste, un paradigme très peu exploré dans le domaine de la classification des rumeurs. Nous proposons plusieurs algorithmes de meta-learning en utilisant les modèles individuels de MONITOR comme modèles de base. Toujours avec l’idée d’améliorer la performance de la classification des rumeurs, nous proposons un modèle multimodal appelé deepMONITOR, basé sur les réseaux de neurones profonds, qui se révèlent capables d’apprendre efficacement des représentations de textes et d’images. L’apport de ce travail concerne particulièrement l’intégration des images et de l’analyse de sentiments dans l’apprentissage multimodal. Enfin, pour répondre au problème du peu de jeux de données disponibles pour la détection multimodale des rumeurs, nous avons construit DAT@Z21, un jeu de données multimédia volumineux issues de Twitter, avec un étiquetage qui s’appuie sur une vérité terrain collectée à partir d’un site de fact checking. Ce jeu de données est partagé en respectant la réglementation en vigueur. Les expériences que nous avons menées à l’aide de divers jeux de données, dont DAT@Z21, démontrent la pertinence de nos propositions. En effet, MONITOR et deepMONITOR réalisent les meilleures performances en les comparant avec les méthodes récentes de l’état de l’art.

The ubiquitous nature and popularity of social media platforms results in the generation of a large amount of multimedia data. The openness and ease of sharing on these platforms promotes the dissemination of information without necessarily considering its veracity. Without any means of verification and analysis of the content exchanged, rumors can seriously affect the credibility of these platforms and lead to disastrous consequences in real life.The objective of this thesis is to propose solutions to the problem of automatic classification of the veracity of rumors in microblogging sites. Based on the rich and diverse content provided by these platforms, we consider several features of the messages, including text, social context, sentiment and images to analyze their veracity. We propose a framework for multimodal feature fusion that relies on several machine learning models for message veracity assessment, as well as its implementation in the MONITOR (Multimodal Fusion Framework to Assess Message Veracity in Social Networks) framework. The originality of this work lies in the use of image quality indicators as characteristics of images to be used in a rumor detection context.To improve the performance of MONITOR, we also exploit the ensemble learning, a paradigm that has been little explored in the field of rumor classification. We propose several meta-learning algorithms using MONITOR's individual models as base models. Still with the idea of improving the performance of rumor classification, we propose a multimodal model called deepMONITOR, based on deep neural networks, which are shown to be capable of efficiently learning text and image representations. The contribution of this work concerns particularly the integration of images and sentiment analysis in multimodal learningFinally, to address the problem of scarce datasets available for multimodal rumor detection, we built DAT@Z21, a large multimedia dataset from the Twitter microblog, with labels based on ground truth collected from a fact checking site. This dataset is shared in compliance with current regulations. The experiments we conducted using various datasets, including DAT@Z21, demonstrate the relevance of our proposals. Indeed, MONITOR and deepMONITOR achieve the best performances compared to recent state-of-the-art methods.