Detection of automatically generated academic Content

Détection des éléments générés automatiquement Contenu académique

• Auteur / Autrice : Vijini Pilana Liyanage
• Direction : Adeline Nazarenko, Davide Buscaldi
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/05/2024
• Etablissement(s) : Paris 13
• Ecole(s) doctorale(s) : École doctorale Galilée (Villetaneuse, Seine-Saint-Denis)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Paris Nord (Paris)
• Jury : Président / Présidente : Karën Fort
• Jury : Rapporteurs / Rapporteuses : Cyril Labbé, Didier Schwab

Mots clés

Mots clés contrôlés

Détection du plagiat

Intelligence artificielle

Interaction humain-machine

Traitement automatique du langage naturel

Systèmes experts (informatique)

Classification

Mots clés libres

Génération de langage naturel

Textes générés automatiquement

Détection

Natural LanguageGeneration

Automatically Generated text

Detection

Résumé

Dans cette thèse, nous avons concentré notre intérêt sur l'identification de technologies/méthodologies de détection de contenus académiques générés artificiellement. Les principales contributions de cette thèse sont triples. Tout d'abord, nous avons construit plusieurs corpus composés de textes académiques générés automatiquement. Dans cette tâche, nous avons utilisé plusieurs derniers modèles NLG pour la tâche de génération. Ces corpus contiennent des contenus entièrement générés ainsi que des contenus composés de manière hybride (avec intervention humaine). Ensuite, nous avons utilisé plusieurs modèles statistiques et d'apprentissage profond pour la détection des contenus générés à partir du contenu original (écrit par l'homme). Dans ce scénario, nous avons considéré la détection comme une tâche de classification binaire. Ainsi, plusieurs modèles de classification SOTA ont été utilisés. Les modèles ont été améliorés ou modifiés à l'aide de techniques d'assemblage pour obtenir une plus grande précision de détection. De plus, nous avons utilisé plusieurs outils de détection les plus récents pour identifier leur capacité à distinguer le texte généré automatiquement. Enfin, les corpus générés ont été testés par rapport aux bases de connaissances afin de trouver d'éventuelles inadéquations susceptibles d'aider à améliorer la tâche de détection. Les résultats de cette thèse soulignent l'importance d'imiter le comportement humain en tirant parti des modèles de génération ainsi que d'utiliser des corpus réalistes et stimulants dans les recherches futures visant à détecter des textes générés artificiellement. Enfin, nous souhaitons souligner le fait que, quelle que soit l'avancée de la technologie, il est toujours crucial de se concentrer sur l'aspect éthique de son utilisation.

In this thesis, we have focused our interest on identifying technologies /methodologies in detecting artificially generated academic content. The principal contributions of this thesis are threefold. First, we built several corpora that are composed of machine generated academic text. In this task we utilized several latest NLG models for the generation task. These corpora contain contents that are fully generated as well as contents that are composed in a hybrid manner (with human intervention). Then, we employed several statistical as well as deep learning models for the detection of generated contents from original (human written) content. In this scenario, we considered detection as a binary classification task. Thus several SOTA classification models were employed. The models were improved or modified using ensembling techniques to gain higher accuracies in detection. Moreover, we made use of several latest detection tools to identify their capability in distinguishing machine generated text. Finally, the generated corpora were tested against knowledge bases to find any mismatches that could help to improve the detection task. The results of this thesis underline the importance of mimicking human behavior in leveraging the generation models as well of using realistic and challenging corpora in future research aimed at detecting artificially generated text. Finally, we would like to highlight the fact that no matter how advanced the technology is, it is always crucial to concentrate on the ethical aspect of making use of such technology.