Event detection on streams of short texts for decision-making

Détection d'évènements dans des flux de textes courts pour la prise de décision

• Auteur / Autrice : Elliot Maître
• Direction : Max Chevalier, Olivier Teste, Bernard Dousset
• Type : Thèse de doctorat
• Discipline(s) : Intelligence artificielle
• Date : Soutenance le 29/06/2022
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Examinateurs / Examinatrices : Cécile Favre, Vincent Claveau
• Jury : Rapporteur / Rapporteuse : Sylvie Calabretto, Patrice Bellot

Mots clés

Mots clés contrôlés

Réseaux sociaux (Internet)

Apprentissage profond

Mots clés libres

Détection d'évènements

Réseaux sociaux

Données textuelles

Apprentissage profond

Event detection

Social networks

Text data

Deep learning

Résumé

L'objectif de cette thèse est de concevoir d'évènements sur les réseaux sociaux permettant d'assister les personnes en charge de prises de décisions dans des contextes industriels. Le but est de créer un système de détection d'évènement permettant de détecter des évènements à la fois ciblés, propres à des domaines particuliers mais aussi des évènements généraux. En particulier, nous nous intéressons à l'application de ce système aux chaînes d'approvisionnements et plus particulièrement celles liées aux matières premières. Le défi est de mettre en place un tel système de détection, mais aussi de déterminer quels sont les évènements potentiellement impactant dans ces contextes. Cette synthèse résume les différentes étapes des recherches menées pour répondre à ces problématiques. Architecture d'un système de détection d'évènements Dans un premier temps, nous introduisons les différents éléments nécessaires à la constitution d'un système de détection d'évènements. Ces systèmes sont classiquement constitués d'une étape de filtrage et de nettoyage des données, permettant de s'assurer de la qualité des données traitées par le reste du système. Ensuite, ces données sont représentées de manière à pouvoir être regroupées par similarité. Une fois ces regroupements de données établis, ils sont analysés de manière à savoir si les documents les constituants traitent d'un évènement ou non. Finalement, l'évolution dans le temps de ces évènements est suivie. Nous avons proposé au cours de cette thèse d'étudier les problématiques propres à chacune de ces étapes. Représentation textuelles de documents issus des réseaux sociaux Nous avons comparé différentes méthodes de représentations des données textuelles, dans le contexte de notre système de détection d'évènements. Nous avons comparé les performances de notre système de détection à l'algorithme First Story Detection (FSD), un algorithme ayant les mêmes objectifs. Nous avons d'abord démontré que le système que nous proposons est plus performant que le FSD, mais aussi que les architectures récentes de réseaux de neurones (transformeur) sont plus performantes que TF-IDF dans notre contexte, contrairement à ce qui avait été montré dans le contexte du FSD. Nous avons ensuite proposé de combiner différentes représentations textuelles afin d'exploiter conjointement leurs forces. Détection d'évènement, suivi et évaluation Nous avons proposé des approches pour les composantes d'analyse de regroupement de documents ainsi que pour le suivi de l'évolution de ces évènements. En particulier, nous utilisons l'entropie et la diversité d'utilisateurs introduits dans [Rajouter les citations] pour évaluer les regroupements. Nous suivons ensuite leur évolution au cours du temps en faisant des comparaisons entre regroupements à des instants différents, afin de créer des chaînes de regroupements. Enfin, nous avons étudié comment évaluer des systèmes de détection d'évènements dans des contextes où seulement peu de données annotées par des humains sont disponibles. Nous avons proposé une méthode permettant d'évaluer automatiquement les systèmes de détection d'évènement en exploitant des données partiellement annotées. Application au contexte des matières premières. Afin de spécifier les types d'évènements à superviser, nous avons mené une étude historique des évènements ayant impacté le cours des matières premières. En particulier, nous nous sommes focalisé sur le phosphate, une matière première stratégique. Nous avons étudié les différents facteurs ayant une influence, proposé une méthode reproductible pouvant être appliquée à d'autres matières premières ou d'autres domaines. Enfin, nous avons dressé une liste d'éléments à superviser pour permettre aux experts d'anticiper les variations des cours.

The objective of this thesis is to design an event detection system on social networks to assist people in charge of decision-making in industrial contexts. The event detection system must be able to detect both targeted, domain-specific events and general events. In particular, we are interested in the application of this system to supply chains and more specifically those related to raw materials. The challenge is to build such a detection system, but also to determine which events are potentially influencing the raw materials supply chains. This synthesis summarizes the different stages of research conducted to answer these problems. Architecture of an event detection system First, we introduce the different building blocks of an event detection system. These systems are classically composed of a data filtering and cleaning step, ensuring the quality of the data processed by the system. Then, these data are embedded in such a way that they can be clustered by similarity. Once these data clusters are created, they are analyzed in order to know if the documents constituting them discuss an event or not. Finally, the evolution of these events is tracked. In this thesis, we have proposed to study the problems specific to each of these steps. Textual representation of documents from social networks We compared different text representation models, in the context of our event detection system. We also compared the performances of our event detection system to the First Story Detection (FSD) algorithm, an algorithm with the same objectives. We first demonstrated that our proposed system performs better than FSD, but also that recent neural network architectures perform better than TF-IDF in our context, contrary to what was shown in the context of FSD. We then proposed to combine different textual representations in order to jointly exploit their strengths. Event detection, monitoring, and evaluation We have proposed different approaches for event detection and event tracking. In particular, we use the entropy and user diversity introduced in ... to evaluate the clusters. We then track their evolution over time by making comparisons between clusters at different times, in order to create chains of clusters. Finally, we studied how to evaluate event detection systems in contexts where only few human-annotated data are available. We proposed a method to automatically evaluate event detection systems by exploiting partially annotated data. Application to the commodities context In order to specify the types of events to supervise, we conducted a historical study of events that have impacted the price of raw materials. In particular, we focused on phosphate, a strategic raw material. We studied the different factors having an influence, proposed a reproducible method that can be applied to other raw materials or other fields. Finally, we drew up a list of elements to supervise to enable experts to anticipate price variations.