Évaluation de la qualité des contributions et des contributeurs sur plateformes de crowdsourcing

Evaluation of the quality of contributions and contributors on crowdsourcing platforms

• Auteur / Autrice : Constance Thierry
• Direction : Arnaud Martin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/12/2021
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : MATHSTIC
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - DRUID
• Partenaire(s) de recherche : Equipe de recherche : DRUID
• Jury : Président / Présidente : Éric Lefèvre
• Jury : Examinateurs / Examinatrices : Jean-Christophe Dubois, Yolande Le Gall
• Jury : Rapporteurs / Rapporteuses : Allel Hadjali, Sihem Amer-Yahia

Mots clés

Mots clés contrôlés

Crowdsourcing

Mots clés libres

Crowdsourcing

Fonctions de croyance

Imprécision

Incertitude

Crowdsourcing

Belief function

Imprecision

Incertainty

Résumé

Le crowdsourcing est l'externalisation de tâches à une foule de contributeurs sur des plateformes dédiées. Les tâches sont simples et accessibles à tous, c'est pourquoi la foule est constituée de profils très diversifiés, ce qui induit des contributions de qualité inégales. La méthode d'agrégation la plus employée dans les plateformes ne prend pas en considération les imperfections des données relatives aux contributions humaines ce qui impacte les résultats obtenus. L'ensemble des travaux de cette thèse tend à solutionner la problématique de la qualité des données de crowdsourcing. Nous proposons ainsi une nouvelle interface pour le crowdsourcing offrant davantage de capacité d'expression au contributeur. Les expériences menées nous ont permis de mettre en évidence une corrélation entre la difficulté de la tâche, la certitude du contributeur et l'imprécision de sa réponse. Nous avons également validé l'hypothèse de Ph. Smets d'après laquelle plus une personne est imprécise plus elle est certaine et réciproquement plus elle est précise moins elle est certaine. Une fois cette hypothèse validée, nous avons élaboré le modèle MONITOR pour l'estimation du profil du contributeur et l'agrégation des réponses grâce à la théorie des fonctions de croyance qui permet de modéliser les imperfections. L'intégralité de nos expérimentations est réalisée sur des données réelles provenant de campagnes de crowdsourcing.

Crowdsourcing is the outsourcing of tasks to a crowd of contributors on dedicated platforms. The tasks are simple and accessible to all, that's why the crowd is made of very diverse profiles, but this induces contributions of unequal quality. The aggregation method most used in platforms does not take into account the imperfections of the data related to human contributions, which impacts the results obtained. The work of this thesis aims at solving the problem of data quality in crowdsourcing platforms. Thus, we propose a new interface for crowdsourcing offering more expression capacity to the contributor. The experiments carried out allowed us to highlight a correlation between the difficulty of the task, the certainty of the contributor and the imprecision of his answer. We also validated the hypothesis of Ph. Smets according to which the more imprecise a person is, the more certain he is, and conversely the more precise he is, the less certain he is. Based on this hypothesis, we develop the MONITOR model for the estimation of the contributor's profile and the aggregation of the answers thanks to the theory of belief functions which allows to model imperfections. All our experiments are performed on real data coming from crowdsourcing campaigns.