Combining Graph and Text to Model Conversations : An Application to Online Abuse Detection

Combinaison des graphes et du texte pour la modélisation de conversations : Application à la détection d'abus en ligne

• Auteur / Autrice : Noé Cécillon
• Direction : Vincent Labatut, Richard Dufour
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/01/2024
• Etablissement(s) : Avignon
• Ecole(s) doctorale(s) : École doctorale Sciences et agrosciences (Avignon)
• Partenaire(s) de recherche : Laboratoire : Laboratoire informatique d'Avignon
• Jury : Président / Présidente : Harold Mouchère
• Jury : Examinateurs / Examinatrices : Serena Villata
• Jury : Rapporteur / Rapporteuse : Irina Illina, Julien Velcin

Mots clés

Mots clés contrôlés

Apprentissage automatique

Analyse du discours -- Informatique

Analyse de la conversation

Reconnaissance optique des formes (informatique)

Réseaux sociaux (Internet)

Mots clés libres

Apprentissage de representations

Détection d'abus

Conversations

Graphes

Representation Learning

Abuse detection

Conversations

Graphs

Résumé

Les comportements abusifs en ligne peuvent avoir des conséquences dramatiques sur les utilisateurs et les communautés. Avec l'avènement d'internet et des réseaux sociaux, personne n'est à l'abri de ce genre de comportement. Ces dernières années, de nombreux pays ont mis en place des lois visant à réduire ce type d'abus. Une détection et un traitement rapide des cas abusifs est un facteur important afin de réduire leur impact et leur nombre. Cette tâche de modération impliquant d'importants coûts humains et financiers, les entreprises ont un gros intérêt à l'automatiser. La détection automatique de contenu abusif se révèle assez complexe. Pour contrer ce problème, il a été montré que prendre en compte le contexte dans lequel un message est posté permet d'améliorer la détection. Cependant la méthode la plus courante dans la littérature consiste à traiter des messages individuels, pris en dehors de leur contexte. Dans ce manuscrit, on s'intéresse plus particulièrement à la combinaison du contenu et de la structure pour la détection de contenu abusif. Utiliser le contenu textuel des messages est l'approche la plus courante dans la littérature. Cette méthode présente l'avantage d'être facile à mettre en place, mais elle est aussi très vulnérable aux attaques basées sur le texte, notamment aux techniques d'obfuscation. La structure de la conversation, représentant le contexte, est beaucoup moins étudiée car elle est plus complexe à manipuler. Pourtant, elle permet d'introduire une notion de contexte qui permet de détecter des cas abusifs là où le texte seul n'en est pas capable. Ce contexte peut être modélisé sous la forme d'un graphe conversationnel représentant la conversation contenant le message étudié. En comparant deux méthodes construites à partir d'un procédé d'extraction de caractéristiques (feature engineering), nous avons montré qu'une méthode n'utilisant que des graphes conversationnels et ignorant le contenu textuel des messages était capable d'obtenir de meilleures performances. Des auteurs dans la littérature suggèrent que combiner plusieurs modalités d'information permet d'améliorer la détection de messages abusifs. À cet effet, nous proposons plusieurs stratégies pour combiner le contenu et la structure des conversations et par nos expériences, nous prouvons que cela est en effet bénéfique pour la détection. Une limitation de ces méthodes basées sur un ensemble de mesures est qu'elles sont assez coûteuses tant en ressources informatiques qu'en temps de conception. Les méthodes d'apprentissage de représentations peuvent être une solution à ce problème, en permettant d'apprendre automatiquement la représentation de ces données. Pour les graphes, nous avons démontré que considérer les attributs des liens, à savoir la direction, le poids et le signe, permet d'améliorer les performances. La littérature ne proposant aucune méthode de plongement de graphe entier signé, nous comblons ce vide en développant deux méthodes de ce type. Nous les évaluons sur un benchmark nouvellement créé et constitué de trois jeux de données de graphes signés, et prouvons qu'ils obtiennent de meilleurs résultats que leurs équivalents ne prenant pas en compte les signes. Finalement, nous menons une étude comparative de plusieurs méthodes de plongement lexical et de graphes pour la détection de messages abusifs en les appliquant à un jeu de données de conversations. Nos résultats montrent qu'elles sont plus efficaces que les méthodes se basant sur un ensemble de mesures pour le texte, et légèrement moins efficaces pour les graphes. Cependant, ces résultats restent très encourageants car ces méthodes possèdent de nombreux autres avantages tels qu'être complètement indépendantes de la tâche, plus faciles à adapter à d'autres environnements d'utilisation, et beaucoup plus efficaces en termes de temps.

Online abusive behaviors can have devastating consequences on individuals and communities. With the global expansion of internet and the social networks, anyone can be confronted with these behaviors. Over the past few years, laws and regulations have been established to regulate this kind of abuse but the responsibility ultimately lies with the platforms that host online communications. They are asked to monitor their users in order to prevent the proliferation of abusive content. Timely detection and moderation is a key factor to reduce the quantity and impact of abusive behaviors. However, due to the sheer quantity of online messages posted every day, platforms struggle to provide adequate resources. Since this implies high human and financial costs, companies have a keen interest in automating this process. Although it may seem a relatively simple task, it turns out to be quite complex. Indeed, malicious users have developed numerous techniques to bypass the standard automated methods. Allusions or implied meaning are other examples of strategies that automatic methods struggle to detect. While usually performed on individual messages taken out of their context, it has been shown that automatic abuse detection can benefit from considering the context in which the message was posted. In this thesis, we want to focus on the combination of content and structure of conversations to tackle the abuse detection task. Using the textual content of messages is the standard approach which was first developed in the literature. It has the advantage of being easy to set up, but on the other hand, it is vulnerable to text-based attacks such as obfuscation. The structure of the conversation which represent the context is less frequently used as it is more complicated to manipulate. Yet it allows to introduce a contextual aspect which helps detecting abuse occurrences when the text on its own is not sufficient. This context can be modeled as a contextual graph representing the conversation which includes the message. By comparing two methods based on feature engineering on a dataset of conversations extracted from a video games, we could show that a method relying exclusively on conversational graphs and ignoring the content was able to obtain better detection performance. The literature suggest that combining multiple modalities often result in a better detection of abusive messages. We propose multiple strategies to combine the content and structure of conversations and prove that their combination is indeed beneficial to the detection. A limitation of feature-based methods is that they are costly in time and computational resources. Our study also highlights that only a fraction of the computed features are truly relevant for the task. Representation learning methods can be used to mitigate these issues by automatically learning the representations of text and conversational graphs. For graphs, we demonstrated that using edge weights, signs and directions improved the performance. As no method exists for signed whole-graph embedding, we fill this gap in the literature by developing two such methods. We assess them on a newly constituted benchmark of three datasets of signed graphs and show that they perform better than their unsigned counterparts. Lastly, we perform a comparative study of several lexical and graph-embedding method for abuse detection by applying them to our dataset of conversations. Our results show that they perform better than feature-based approaches on text and are slightly less effective on graphs. Still, they obtain promising results given that they are completely task independent, much more scalable and time-efficient than feature-based approaches.