Gestes et cognition : caractérisation de l'activité de co-conception multimodale dans un environnement de Réalité Augmentée Spatialisée

Gestures and cognition : characterisation of the multimodal co-design activity in a Spatial Augmented Reality environment

• Auteur / Autrice : Maud Poulin
• Direction : Jean-François Boujut
• Type : Thèse de doctorat
• Discipline(s) : Génie Industriel conception et production
• Date : Soutenance le 23/09/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Ingénierie - matériaux mécanique énergétique environnement procédés production (Grenoble ; 2008-....)
• Partenaire(s) de recherche : Laboratoire : Sciences pour la conception, l'optimisation et la production (Grenoble, Isère, France)
• Jury : Président / Présidente : Erica De Vries
• Jury : Examinateurs / Examinatrices : Frédéric Merienne, Daniel Mestre
• Jury : Rapporteur / Rapporteuse : Françoise Darses, Stéphanie Buisine

Mots clés

Mots clés contrôlés

Gestes

Réalité augmentée

Mots clés libres

Réalité augmentée spatialisée

Co-Conception

Activités cognitives

Gestes

Spatial Augmented Reality

Co-Design

Cognitive activities

Gestures

Résumé

L’activité de conception mobilise des fonctions cognitives de haut niveau largement étudiées depuis ces dernières années. Cependant, dans un souci d’améliorer toujours plus l’innovation, la créativité et de réduire les barrières de communication entre les designers et les non-designers pendant les réunions de co-conception du produit, des outils d’aide à la conception sont déployés, tous poursuivants des objectifs différents. La plateforme SPARK utilisant les propriétés de la Réalité Augmentée Spatialisée (SAR) est notamment un outil développé pour faciliter les interactions et la compréhension entre les experts et les non-experts de la conception dans les phases de revue. C’est dans ce contexte que s’inscrit ce travail de thèse où nous proposons une analyse multimodale de l’activité de co-conception dans un environnement SAR. Nous avons employé une démarche ergonomique tout au long de cette recherche en procédant à l’observation de séances de co-conception chez notre partenaire industriel puis en effectuant une expérimentation en laboratoire à plus grande échelle accompagnée de questionnaires et d’entretiens d’auto-confrontation avec les utilisateurs. Cette démarche nous a permis, d’une part, d’identifier quelle était l’influence de cette technologie sur les différentes activités cognitives et les gestes réalisés par les acteurs. Il a été montré que la technologie SAR n’a aucune influence sur les activités de conception sauf pour la génération d’idées où les résultats révèlent un nombre significativement plus important d’idées lorsqu’on utilise cet outil. Cette technologie semble également avoir une influence sur les gestes mobilisés car elle sollicite davantage la manipulation ou le pointage de l’artefact dans la scène. D’autre part, nous avons analysé les relations entre les gestes réalisés et les activités cognitives mobilisés dans le protocole verbal. Par exemple, un des résultats principaux de cette étude a montré que l’activité de simulation du contexte d’usage est significativement associée à des gestes iconiques. Les résultats de ce travail de recherche nous permettent d’avancer quelques préconisations d’usage de cette technologie dont les avantages sont avérés dans la phase de revue de la conception du produit et où la tangibilité de l’artefact est un facteur de réussite.

The design activity mobilises high-level cognitive functions that have been widely studied in recent years. However, in order to improve innovation and creativity and to reduce communication barriers between designers and non-designers during product co-design meetings, design support tools are deployed, all with different objectives. In particular, the SPARK platform using the properties of Spatial Augmented Reality (SAR) is a tool developed to facilitate interactions and understanding between design experts and non-experts in the design review phases. It is in this context that we propose a multimodal analysis of the co-design activity in a SAR environment. We used an ergonomic approach throughout this research by observing co-design sessions at our industrial partner's premises and then by carrying out a larger-scale laboratory experiment accompanied by questionnaires and self-confrontation interviews with end-users. This approach allowed us, on the one hand, to identify the influence of this technology on the different cognitive activities and gestures performed by the actors. It was shown that the SAR technology has no influence on design activities except for idea generation where the results reveal a significantly higher number of ideas when using this tool. This technology also seems to have an influence on the mobilised gestures because it solicits more manipulation or pointing of the artefact in the scene. On the other hand, we analysed the relationships between the gestures performed and the cognitive activities mobilised in the verbal protocol. For example, one of the main results of this study showed that the activity of simulating the context of use is significantly associated with iconic gestures. The results of this research work allow us to put forward some recommendations for the use of this technology, the advantages of which are proven in the product design review phase and where the tangibility of the artefact is a success factor.