Approche multimodale pour l'évaluation d'applications de communication innovantes

Multimodal approach for evaluation of innovative communication application

• Auteur / Autrice : Florentin Rodio
• Direction : Joseph Maurice Christian Bastien
• Type : Thèse de doctorat
• Discipline(s) : Ergonomie
• Date : Soutenance le 14/12/2016
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale Humanités Nouvelles - Fernand Braudel (Nancy ; 2013-....)
• Partenaire(s) de recherche : Laboratoire : PErSEUs - Psychologie Ergonomique et Sociale pour l'Expérience Utilisateurs (Metz)
• Jury : Président / Présidente : Éric Brangier
• Jury : Examinateurs / Examinatrices : Joseph Maurice Christian Bastien, Houcine Ezzedine, Charles Tijus, Stéphanie Buisine, Aline Chevalier
• Jury : Rapporteur / Rapporteuse : Houcine Ezzedine, Charles Tijus

Mots clés

Mots clés contrôlés

Évaluation

Interaction multimodale

Communication

Mots clés libres

Evaluation

Multimodale

Immersion

Applications de communication

Expérience utilisateur

Evaluation

Multimodal

Immersion

Communication Application

User Experience

Résumé

Le domaine des applications de communication a connu dernièrement de grands bouleversements, ce qui a conduit les chercheurs à suivre un nouveau paradigme d’évaluation, basé sur l’expérience utilisateur. Un grand nombre de méthodes de mesure ont ainsi été mises au point afin de la mesurer, mais demeurent immatures, voire contradictoires entre elles. C’est pourquoi un travail mérite d’être mené afin d’en augmenter la validité et la fiabilité. Ce travail de thèse s’est attaché donc à utiliser plusieurs de ces méthodes, de les combiner et les articuler selon différentes techniques afin d’améliorer la qualité de la mesure. Nous nous sommes appuyés pour cela sur un large spectre d’indicateurs, d’ordre physiologiques, comportementaux et auto rapportés et de deux stratégies de triangulation en particulier : multi-facettes et multi-mesures. Enfin, ces méthodes ont testées dans des cas d’application réels et selon une complexification croissante des procédures et traitements statistiques. Cela a donné lieu à trois études distinctes. La première a consisté à évaluer la pertinence d’un algorithme de recommandation de films face à son concurrent en utilisant une stratégie d’évaluation multi-facettes. Une deuxième étude a été élaborée afin de tester la pertinence de modèles d’évaluation multi-mesures, en évaluant l’utilisabilité de sites universitaires grâce à un logiciel de test utilisateur à distance (Evalyzer) et la combinaison multimodale de divers indicateurs d’utilisabilité. Enfin, une dernière étude a été réalisée afin de valider un protocole de mesure d’immersion multi-mesure (questionnaire, expression faciale, conductance de la peau, rythme cardiaque, comportement oculaire). Ces trois études nous ont permis d’évaluer la pertinence d’un certain nombre de mesures (d'utilisabilité et d’expérience utilisateur), la valeur ajoutée de certaines de leurs combinaisons, ainsi qu’un retour critique sur la procédure de validation multi-facettes utilisée dans cette thèse

The communication application domain has recently experienced some great changes. This shift has led researchers to follow a new evaluation paradigm, based on the user experience. This trend differs fundamentally from its predecessors by its holistic, subjective and positive nature. Many measurement methods have been developed to assess the user experience, but remain immature and even contradictory. Moreover, the basic nature of the user experience has led to the loss of reliability in the exercise of its measurement. This is why studies should be conducted in order to increase the validity and reliability of this new approach. The main aim of this research is to use several methods and to combine and articulate them using various techniques to improve the measurement quality. These studies was based on a broad spectrum of indicators (physiological, behavioral and self-reported) and two triangulation strategies in particular: multi-faceted and multi-measures. Finally, these methods were tested in real applied cases and under an increasing procedure complexity and statistical processing. This research has resulted in three separate studies. The first aims to evaluate the relevance of a movie recommendation algorithm against its competitor using a multifaceted evaluation strategy. A second study was designed to test the relevance of a multi-measures evaluation model by assessing the usability of university sites based on a remote user testing software (Evalyzer) and a multimodal combination of various indicators of usability. A final study was conducted to validate multi-measures immersion protocol (questionnaire, facial expression, skin conductance, heart rate, eye behavior). These three studies have highlighted the relevance of numerous measures (of usability and user experience), the added value of some of their combinations, as well as a critical return to the multi-facet validation procedure used in this thesis