Évaluation des moteurs de recherche exploratoire : élaboration d'un corps de méthodes centrées utilisateurs, basées sur une modélisation du processus de recherche exploratoire

Evaluating exploratory search engines : designing a set of user-centered methods based on a modeling of the exploratory search process

• Auteur / Autrice : Emilie Palagi
• Direction : Fabien Gandon
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/11/2018
• Etablissement(s) : Université Côte d'Azur (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : établissement de préparation : Université de Nice (1965-2019)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes) - Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes ; 1992-....) - Web-Instrumented Man-Machine Interactions, Communities and Semantics - Eurecom [Sophia Antipolis]
• Jury : Président / Présidente : Pierre de Loor
• Jury : Examinateurs / Examinatrices : Pierre de Loor, Joseph Maurice Christian Bastien, Sylvie Catellin
• Jury : Rapporteurs / Rapporteuses : Pierre de Loor, Joseph Maurice Christian Bastien

Mots clés

Mots clés contrôlés

Conception centrée sur l'utilisateur

Moteurs de recherche

Mots clés libres

Méthodes d’évaluations

Recherche exploratoire

Méthodes basées sur un Model

Approche centrée utilisateurs

Evaluation methods

Exploratory search

Model-based methods

User-centered approach

Résumé

Les moteurs de recherche exploratoire (MRE) sont des logiciels aidant les utilisateurs à explorer un domaine d’intérêt pour y faire des découvertes. Ces moteurs se distinguent en cela des moteurs de recherche classiques tels que Google, Bing ou Yahoo!, lesquels supportent plutôt des recherches ciblées ou recherches de consultation (lookup). Si l’on admet que l’évaluation des MRE vise à vérifier si ces derniers aident effectivement les utilisateurs à réaliser leur tâche d’exploration, on constate que les méthodes existantes d’évaluation de ces systèmes ne permettent pas réellement cette vérification. L’une des raisons à cela est que ces méthodes ne reposent pas sur un modèle approprié de la recherche exploratoire (RE) ou qu’elles restent accrochées à un modèle de la recherche de consultation. L’objectif principal de cette thèse est de proposer aux concepteurs de ces MRE des méthodes d’évaluation centrées utilisateurs reposant sur un modèle du processus de RE. Ainsi, après avoir modélisé le processus de RE, nous proposons deux méthodes d’évaluation qui peuvent être utilisées tout au long du processus de conception. La première méthode, une méthode d’inspection sans utilisateurs, peut être utilisée dès les premières maquettes, et repose sur des heuristiques de RE. Nous avons également proposé des outils facilitant l’utilisation de ces heuristiques : un formulaire en ligne ainsi qu’une extension Google Chrome appelée CheXplore. La seconde méthode, avec utilisateurs, peut être utilisée dès la première version d’un prototype fonctionnel. Cette méthode se présente comme une procédure de test utilisateur personnalisable. Dans cette thèse, nous nous intéressons plus particulièrement à deux éléments de cette procédure : un protocole d’élaboration de tâches de RE et une grille d’analyse d’enregistrements vidéo de session de RE. La pertinence du modèle ainsi que les méthodes qui en découlent ont été évaluées à l’occasion de tests utilisateurs. Le modèle, les heuristiques et le protocole d’élaboration des tâches de RE ont été validés. Les premières évaluations de la grille d’analyse d’enregistrements vidéos ont révélé des points à améliorer.

Exploratory search systems are search engines that help users to explore a topic of interest. A shortcoming of current evaluation methods is that they cannot be used to determine if an exploratory search system can effectively help the user in performing exploratory search tasks. Indeed, the assessment cannot be the same between classic search systems (such as Google, Bing, Yahoo!...) and exploratory search systems. The complexity and the difficulty to have a consensus definition of the exploratory search concept and process are reflected in the difficulties to evaluate such systems. Indeed, they combine several specifics features and behaviors forming an alchemy difficult to evaluate. The main objective of this thesis is to propose for the designers of these systems (i.e. computer scientists) user-centered evaluation methods of exploratory search systems. These methods are based on a model of exploratory search process in order to help the evaluators to verify if a given system supports effectively the exploratory search process. Thus, after elaborating a model of exploratory search process, we propose two model-based methods, with and without users, which can be used all along the design process. The first method, without users, can be used from the first sketch of the system, consists of a set of heuristics of exploratory search and a procedure for using them. We also propose two tools facilitating their use: an online form format and an Google Chrome plugin, CheXplore. The second method involves real end-users of exploratory search systems who test a functional prototype or version of an exploratory search system. In this thesis, we mainly focus on two model-based elements of a customizable user testing procedure: a protocol for the elaboration of exploratory search tasks and a video analysis grid for the evaluation of recorded exploratory search sessions.