Détection subtile du langage abusif

Subtle abusive language detection

• Auteur / Autrice : Nicolás Ocampo
• Direction : Elena Cabrio, Serena Villata
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/01/2022
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Web-Instrumented Man-Machine Interactions, Communities and Semantics

Mots clés

Mots clés libres

Traitement du langage naturel

Apprentissage automatique

Extraction d'arguments

Génération de langage naturel

Natural Language Processing

Machine Learning

Argument Mining

Natural Language Generation

Résumé

Les médias sociaux ont fait face à une pression croissante de la part des groupes de défense des droits civiques pour intensifier leur application des politiques de lutte contre les discours de haine. Mais la disponibilité croissante du contenu généré par les utilisateurs en ligne et la croissance des plateformes de médias sociaux présentent des défis particuliers lorsqu'il s'agit de surveiller et de limiter la présence de langage agressif et abusif en ligne. Cela a conduit au déploiement de systèmes automatiques - s'appuyant sur les progrès de l'apprentissage automatique pour le traitement du langage naturel (sous le grand parapluie de l'intelligence artificielle) - qui "comprennent" les expressions en langage naturel et étiquettent les messages comme appropriés ou non. Les techniques de calcul sont nécessaires pour s'adapter à un volume de données qu'il serait autrement impossible de suivre. Les travaux de recherche sur la détection automatique du langage abusif et offensant sont mis en lumière par le succès des campagnes d'évaluation telles que HatEval, OffensEval, ou Automatic Misogyny Identification, pour n'en citer que quelques-unes. La majorité des approches développées jusqu'à présent pour détecter automatiquement les phénomènes abusifs sont basées sur l'apprentissage automatique supervisé, utilisant à la fois des classificateurs basés sur des fonctionnalités et des architectures neuronales. Des lexiques spécialisés ont également été proposés, comme approche complémentaire à l'apprentissage supervisé avec le potentiel d'une explicabilité accrue des décisions automatisées des modèles. La technologie actuelle s'est principalement concentrée sur les formes manifestes de langage abusif et de discours de haine, ne couvrant que certains phénomènes sur l'ensemble du spectre des contenus toxiques et abusifs, tandis que d'autres sont ignorés car jugés trop difficiles ou rares. Alors que le discours de haine explicite est plus facilement identifiable en reconnaissant un mot ou une expression clairement haineux, le discours de haine implicite utilise des circonlocutions, des métaphores ou des stéréotypes pour véhiculer la haine d'un groupe particulier, dans lequel la haine ne peut être capturée qu'en comprenant ses significations de composition globales. Bien que l'implicite ait une influence sur la perception humaine du discours de haine, le phénomène est invisible pour les classificateurs automatiques. Cela pose un grave problème pour la détection automatique du langage abusif, car cela ouvre la porte à un discours de haine plus intense se cachant derrière le phénomène d'implicite. L'objectif du doctorat. programme est d'aborder la détection automatique des contenus abusifs en se concentrant en particulier sur les formes de comportements abusifs qui sont linguistiquement subtiles et implicites, qui constituent un véritable défi pour la détection automatique des discours de haine. Bien que la nature sournoise et potentiellement trompeuse de l'implicite puisse être perçue comme moins haineuse par rapport au même contenu exprimé clairement, un tel abus peut toujours être aussi nocif sur le plan émotionnel qu'un abus manifeste. De plus, la lutte contre la haine en ligne à l'aide de réponses textuelles éclairées - appelées contre-récits - a récemment été mise à l'honneur. La génération automatique de contre-récits vise à faciliter l'intervention directe dans la discussion sur la haine et à empêcher que le contenu haineux ne se propage davantage. Alors que la plupart des approches neuronales actuelles manquent de preuves fondées et à jour telles que des faits, des statistiques ou des exemples, ces aspects sont de la plus haute importance et doivent être explorés pour fournir des arguments convaincants et bien fondés. Étant donné que nous convenons que les contre-récits sont un meilleur outil que la modération de contenu dans la lutte contre le discours de haine, dans la deuxième partie du doctorat. programme, la tâche de génération de contre-récits sera abordée, notamment, pour miner l'impact des contenus haineux implicites avec des réponses informées et non agressives. Enquêter et élargir la portée des problèmes pour s'attaquer aux formes d'abus les plus subtiles et les plus graves vise à promouvoir des communautés en ligne saines.

Social media have faced mounting pressure from civil rights groups to ramp up their enforcement of anti-hate speech policies. But the increasing availability of online user-generated content and growth of social media platforms present special challenges when it comes to monitoring and limiting the presence of aggressive and abusive language online. This has led to the deployment of automatic systems - relying on advances in machine learning for Natural Language Processing (under the big umbrella of Artificial Intelligence) - that "understand" expressions in natural language and label the messages as appropriate or not. Computational techniques are necessary to scale up to match a volume of data that would be otherwise impossible to track. Research work on the automatic detection of abusive and offensive language is highlighted by the success of evaluation campaigns such as HatEval, OffensEval, or Automatic Misogyny Identification, to mention a few. The majority of approaches developed so far to automatically detect abusive phenomena are based on supervised machine learning, employing both feature-based classifiers and neural architectures. Specialized lexicons have also been proposed, as a complementary approach to supervised learning with the potential for an increased explainability of the automated decisions of the models. Current technology has primarily focused on overt forms of abusive language and hate speech, covering only some phenomena along the whole spectrum of toxic and abusive content, while others are ignored because deemed too difficult or rare. While explicit hate speech is more easily identifiable by recognizing a clearly hateful word or phrase, implicit hate speech employs circumlocution, metaphor, or stereotypes to convey hatred of a particular group, in which hatefulness can be captured only by understanding its overall compositional meanings. Although implicitness has an influence on the human perception of hate speech, the phenomenon is invisible to automatic classifiers. This poses a severe problem for automatic abusive language detection, as it opens doors for more intense hate speech hiding behind the phenomenon of implicitness. The goal of the Ph.D. program is to address the automatic detection of abusive content focusing in particular on the forms of abusive behavior that are linguistically subtle and implicit, that constitute a real challenge for automatic hate speech detection. While the sly, potentially deceiving nature of implicitness might be perceived as less hateful with respect to the same content expressed clearly, such abuse can still be as emotionally harmful as overt abuse. Moreover, tackling online hatred using informed textual responses - called counter-narratives - has been brought under the spotlight recently. The automatic generation of counter-narratives aims at facilitating direct intervention in the hate discussion and preventing hate content from further spreading. While most of the current neural approaches lack grounded and up-to-date evidence such as facts, statistics, or examples, these aspects are of utmost importance and need to be explored to provide convincing and well-grounded arguments. Given that we agree that counter-narratives are a better tool than content moderation in fighting hate speech, in the second part of the Ph.D. program, the counter-narrative generation task will be tackled, in particular, to undermine the impact of implicit hateful content with informed and non-aggressive responses. Investigating and expanding the scope of problems to tackle both more subtle and more serious forms of abuse aims at promoting healthy online communities.