Assistance multimodale pour l'interaction 3D collaboratif : étude de la performance pour le travail collaboratif

Multi-modal assistance for collaborative 3D interaction : study and analysis of performance in collaborative work

• Auteur / Autrice : Sehat Ullah
• Direction : Malik Mallem
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 26/01/2011
• Etablissement(s) : Evry-Val d'Essonne
• Ecole(s) doctorale(s) : École doctorale Sciences et Ingénierie (Evry ; 2008-2015)
• Jury : Président / Présidente : Sabine Coquillart
• Jury : Examinateurs / Examinatrices : Samir Otmane, Paul Richard
• Jury : Rapporteurs / Rapporteuses : Anatole Lécuyer, Guillaume Moreau
• DOI : 10.70675/e5881cb0z26eaz4d01za845zd60b46e7594b

Mots clés

Mots clés contrôlés

Réalité virtuelle

Environnements virtuels partagés

Architecture

Logiciels

Mots clés libres

Assistance multimodale

Résumé

Les progrès récents dans le domaine de l'infographie et la capacité des ordinateurs personnels de rendre les scènes 3D réalistes ont permis de développer des environnements virtuels dans lesquels plusieurs utilisateurs peuvent co-exister et travailler ensemble pour atteindre un objectif commun. Ces environnements sont appelés Environnements Virtuels Collaboratifs (EVCs). Les applications potentielles des EVCs sont dans les domaines militaire, médical, l'assemblage, la conception assistée par ordinateur, la téléopération, l'éducation, les jeux et les réseaux sociaux. Un des problèmes liés aux EVCs est la faible connaissance des utilisateurs concernant l'état, les actions et les intentions de leur(s) collaborateur(s). Ceci réduit non seulement la performance collective, mais conduit également à des résultats non satisfaisants. En outre, les tâches collaboratives ou coopératives réalisées sans aide ou assistance, sont plus difficiles et plus sujettes aux erreurs. Dans ce travail de thèse, nous étudions l'influence de guides multi-modaux sur la performance des utilisateurs lors de tâches collaboratives en environnement virtuel (EV). Nous proposons un certain nombre de guides basés sur les modalités visuelle, auditive et haptique. Dans ce contexte, nous étudions leur qualité de guidage et examinons leur influence sur l'awareness, la co-présence et la coordination des utilisateurs pendant la réalisation des tâches. A cette fin, nous avons développé une architecture logicielle qui permet la collaboration de deux (peut être étendue a plusieurs utilisateurs) utilisateurs (distribués ou co-localisés). En utilisant cette architecture, nous avons développé des applications qui non seulement permettent un travail collaboratif, mais fournissent aussi des assistances multi-modales aux utilisateurs. Le travail de collaboration soutenus par ces applications comprend des tâches de type ''Peg-in-hole'', de télé-manipulation coopérative via deux robots, de télé-guidage pour l'écriture ou le dessin. Afin d'évaluer la pertinence et l'influence des guides proposés, une série d'expériences a été effectuée au LISA (Laboratoire d'Ingénierie et Systèmes Automatisés) à l'Université d'Angers et au Laboratoire IBISC (Informatique, Biologie Intégrative et Systèmes Complexes) d'Evry. Dans ces expériences, les utilisateurs ont été invités à effectuer des tâches variées, dans des conditions différentes (avec et sans guides). L'analyse a été effectuée sur la base du temps de réalisation des tâches, des erreurs et de l'apprentissage des utilisateurs. Pour les évaluations subjectives des questionnaires ont été utilisés. Ce travail contribue de manière significative au développement de systèmes collaboratifs pour la téléopération, la simulation d'assemblage, l'apprentissage de gestes techniques, la rééducation, la conception assistée par ordinateur et le divertissement.

The recent advancement in the field oh high quality computer graphics and the capability of inexpensive computers to render realistic 3D scenes have made it possible to develop virtual environments where two more users can co-exist and work collaboratively to achieve a common goal. Such environments are called Collaborative Virtual Environnment (CVEs). The potential application domains of CVEs are many, such as military, medical, assembling, computer aided designing, teleoperation, education, games and social networks etc.. One of the problems related to CVEs is the user's low level of awareness about the status, actions and intentions of his/her collaborator, which not only reduces user's performance but also leads to non satisfactory results. In addition, collaborative tasks without using any proper computer generated assistance are very difficult to perform and are more prone to errors. The basic theme of this thesis is to provide assistance in collaborative 3D interactiion in CVEs. In this context, we study and develop the concept of multimodal (audio, visual and haptic) assistance of a user or group of users. Our study focuses on how we can assist users to collaboratively interact with the entities of CVEs. We propose here to study and analyze the contribution of multimodal assistance in collaborative (synchronous and asynchronous) interaction with objects in the virtual environment. Indeed, we propose and implement various multimodal virtual guides. Theses guides are evaluated through a series of experiments where selection/manipulation task is carried out by users both in synchronous and asynchronous mode. The experiments were carried out in LISA (Laboratoire d'Ingénierie et Systèmes Automatisés) lat at University of Angers and IBISC (Informatique, Biologie Intégrative et Systèmes complexes) lab at University of Evry. In these experiments users were asked to perform a task under various conditions (with and without guides). Analysis was done on the basis of task completion time, errors and users' learning. For subjective evaluations questionnaires were used. The findings of this research work can contribute to the development of collaborative systems for teleopreation, assembly tasks, e-learning, rehabilitation, computer aided design and entertainment.