Méthodologies et outils pour le partage de connaissances dans les industries d'assemblage manuel en utilisant la réalité augmentée

Methodologies and tools for expert knowledge sharing in manual assembly industries by using augmented reality

• Auteur / Autrice : Traian Lavric
• Direction : Titus Bogdan Zaharia
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 02/12/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Télécom SudParis (France) - Institut Polytechnique de Paris / IP Paris - Département Advanced Research And Techniques For Multidimensional Imaging Systems / ARTEMIS - ARMEDIA / ARMEDIA-SAMOVAR
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom SudParis (France)
• Jury : Président / Présidente : Laurence Nigay
• Jury : Examinateurs / Examinatrices : Jean-Yves Didier, Thierry Duval, Marius Preda, Fabien Dumon
• Jury : Rapporteurs / Rapporteuses : Jean-Yves Didier, Thierry Duval

Mots clés

Mots clés contrôlés

Interaction humain-machine

Réalité augmentée

Technologie

Mots clés libres

Réalité augmentée

Méthodologies et outils

Partage des connaissances

Outil de création

Industry 4.0

Processus de fabrication

Augmented reality

Methodology and tools

Knowledge sharing

Authoring tool

Industry 4.0

Manufacturing process

Résumé

Pour rester compétitifs, les secteurs manufacturiers doivent assurer une grande flexibilité au niveau de la production, un besoin mieux satisfait par des travailleurs qualifiés. Alors que la formation traditionnelle devient de plus en plus inefficace, trouver une meilleure façon de former les travailleurs novices devient une exigence critique. La littérature suggère que la réalité augmentée (RA), une technologie émergente proposée par l'industrie 4.0, peut répondre à cette question.Les avantages des outils de partage des connaissances basés sur la RA ont été démontrés dans divers domaines, y compris l'industrie, de la fabrication à la validation et à la maintenance. Cependant, malgré les progrès de la RA ces dernières années, aucune percée industrielle significative n'est à noter. Nous avons constaté que la plupart des systèmes RA sont élaborés et évalués dans des environnements contrôlés, sans l'implication des utilisateurs finaux.Guidés par les recommandations de la littérature, nous avons mené une étude de cas au long cours dans une usine d'assemblage manuel, afin d'identifier les besoins auxquels un système de formation en RA devrait répondre, pour adresser de manière optimale le secteur industriel considéré. De plus, nous avons mené une analyse approfondie de la représentation et de la transmission de l'information dans la RA, en ce qui concerne les implications cognitives et les efforts de création de contenu. Nous avons également exploré les paradigmes d'interaction homme-machine pour identifier les principes et les lignes directrices de conception pour l'élaboration d'un outil de RA dédié au contexte atelier. Nous avons constaté que la représentation visuelle de l'expertise d'assemblage en RA peut s'appuyer sur des éléments visuels peu coûteux, tandis qu'une conception centrée sur l'humain devrait être adoptée lors de l'élaboration du système, en privilégiant l'utilisabilité et l'utilité plutôt que la performance.Nous avons défini une représentation visuelle formalisée des opérations d'assemblage en RA, qui prend en compte les problématiques de création et soutient les performances de formation. Nous avons proposé une approche de création immersive qui permet de capturer son expertise d'assemblage in-situ, lors de l'assemblage. La création des instructions en RA est un processus en une étape, ne s'appuie pas sur des données existantes ou des services externes et ne nécessite pas d'expertise AR ou technique, de pré- ou post-traitement des données. Pendant la formation, les informations d'assemblage sont transmises en suivant le principe 2W1H, conçu pour guider les novices de manière naturelle et non intrusive, en minimisant les entrées de l'utilisateur et l'encombrement de l'interface utilisateur, et en visant à maximiser la compréhension et l'apprentissage.Nous avons évalué notre proposition en menant plusieurs études. La première a confirmé l'hypothèse selon laquelle des éléments visuels à faible coût enregistrés dans l'espace peuvent transmettre efficacement l'expertise d'assemblage manuel aux travailleurs novices dans une configuration industrielle. Les résultats de la deuxième étude ont soutenu l'hypothèse selon laquelle la valeur de la création d'instructions AR basées sur la CAO dans un contexte industriel similaire est discutable. Une dernière étude a prouvé que le système RA proposé, comprenant à la fois la procédure de création et de formation, peut être utilisé efficacement par des novices en quelques minutes. Dans l'ensemble, les résultats rapportés ont démontré la usabilité et l'efficacité de l'approche de formation en RA proposée, indiquant qu'une mise en œuvre de système similaire pourrait être adoptée avec succès dans les secteurs manufacturiers.Les travaux futurs devraient valider les résultats expérimentaux rapportés dans des évaluations industrielles à grande échelle et proposer des modules "intelligents pour mieux aider les novices pendant leur formation et optimiser la procédure de création.

Abstract: To remain competitive in the ongoing industrial revolution (i.e., Industry 4.0), manufacturing sectors must ensure high flexibility at the production level, a need best addressed by skilled human workforce. As traditional training becomes increasingly inefficient, finding a better way of training novice workers becomes a critical requirement. Literature suggests that augmented reality (AR), an emerging technology proposed by Industry 4.0, can potentially address this concern.The benefits of AR-based knowledge sharing tools have been demonstrated in a variety of domains, including industry, from manufacturing to validation and maintenance. However, despite the progress of AR in recent years, no significant industrial breakthrough can be noted. We found that most AR systems are elaborated and evaluated under controlled settings, without the implication of the eventual end users. Guided by literature recommendations, we conducted a long-term case study in a manual assembly factory, to identify needs and expectations that an AR training system should meet, to optimally address the considered industrial sector.Further, we conducted an in-depth analysis on information representation and conveyance in AR, with respect to cognitive implications and content authoring efforts. We explored as well human-computer interaction paradigms to identify principles and design guidelines for elaborating an AR tool dedicated to the shop floor context. We found that the visual representation of the assembly expertise in AR can rely on spatially registered low-cost visual assets (i.e., text, photo, video, and predefined auxiliary data), while a human-centered design should be adopted during the elaboration of the AR system, prioritizing usability and usefulness rather than performance.We defined a formalized visual representation (i.e., 2W1H principle) of assembly operations in AR, that considers authoring concerns and supports training performance. We proposed an HMD-only immersive authoring that allows one to capture his assembly expertise in-situ, during the assembly itself. The authoring is a one-step process, does not rely on existing data or external services and does not require AR or technical expertise, pre- or post-processing of data. During training, the assembly information is conveyed via AR by following the 2W1H principle, designed to guide novice workers in a natural, non-intrusive manner, minimizing user input and UI clutter, and aiming to optimize comprehension and learning.We evaluated our proposal by conducting several experiments. The first, conducted on a real-world assembly workstation, confirmed the hypothesis that spatially registered low-cost visual assets can effectively convey manual assembly expertise to novice workers via AR in an industrial setup. The findings of the second experiment supported the assumption that the worthiness of authoring CAD-based AR instructions in similar industrial context is questionable. A final experiment proved that the proposed AR system, including both authoring and training procedures, can be used effectively by novices in a matter of minutes. The overall reported feedback demonstrated the usability and efficiency of the proposed AR training approach, indicating that a similar system implementation could be successfully adopted in shop floor environments.Future work should validate the reported experimental findings in large-scale industrial evaluations and propose reliable “intelligent” modules (e.g., assembly validation and feedback) to better assist novice workers during training and optimize the authoring procedure as well.