De la complexité de l'annotation manuelle : méthodologie, biais et recommandations

On the complexity of manual annotation : methodology, bias and recommendations

• Auteur / Autrice : Anaelle Baledent
• Direction : Yann Mathet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 01/12/2022
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : établissement de préparation : Université de Caen Normandie (1971-....)
• Partenaire(s) de recherche : Laboratoire : Groupe de recherche en informatique, image, automatique et instrumentation de Caen (1995-....)
• Jury : Président / Présidente : Jean-Yves Antoine
• Jury : Examinateurs / Examinatrices : Frédéric Landragin, Sophie Rosset, Karën Fort, Lydia-Mai Ho-Dac, Iris Eshkol
• Jury : Rapporteurs / Rapporteuses : Frédéric Landragin, Sophie Rosset

Mots clés

Mots clés contrôlés

Corpus (recherche)

Corpus linguistique

Méthodologie

Traitement automatique du langage naturel

Mots clés libres

Annotation manuelle

Biais d'annotation

Corpus annoté

Manual annotation

Annotation bias

Annotated corpora

Natural language processing

Methodology

Résumé

Les corpus de référence annotés constituent des éléments primordiaux de nombreuses tâches du Traitement Automatique des Langues. Leur construction fait l'objet d’une attention particulière, notamment lors de campagnes d’annotation manuelle. Ces dernières impliquent de multiples aspects, déjà étudiés dans la littérature mais souvent de manière séparée. Nous présentons une synthèse des problèmes rencontrés lors des différentes étapes d'une campagne, attirant l’attention des gestionnaires sur des points de vigilance, afin qu'ils fassent preuve de prudence durant leur campagne.Cette thèse donne une première définition des biais d’annotation, qui sont des phénomènes perturbateurs et variés pouvant avoir une incidence sur les annotations. Nous proposons une méthode et des moyens d'observation pour détecter et analyser la présence de biais d’annotation. Deux campagnes d’annotation, menées spécialement dans le but d'étudier des biais particuliers, servent d'illustration et nous ont permis de constater l'influence tangible de certains paramètres sur l’annotation. Dans cette optique, nous avons aussi introduit la notion de consensualité, qui permet en particulier de situer un annotateur par rapport à un groupe. Nous montrons un premier lien entre les annotateurs les moins consensuels et les moins performants.

Annotated reference corpora are essential elements of many tasks in Natural Language Processing. Their construction is the object of particular attention, especially during manual annotation campaigns. The latter involve multiple aspects, already studied in the literature but often separately. We present a synthesis of the problems encountered during the different stages of a campaign, drawing the attention of managers to points of vigilance, so that they can be careful during their campaign.This thesis gives a first definition of annotation biases, which are disturbing and varied phenomena that can have an impact on annotations. We propose a method and means of observation to detect and analyze the presence of annotation bias. Two annotation campaigns, conducted specifically to study particular biases, serve as illustrations and have allowed us to observe the tangible influence of certain parameters on the annotation. In this perspective, we have also introduced the notion of consensuality, which allows us to situate an annotator in relation to a group. We show a first link between the least consensual annotators and the least efficient ones.