Conception d’une représentation graphique des gestes numériques pour le cockpit tactile fondée sur les dimensions participant à la conscience mutuelle entre les pilotes

Design of a graphic representation of gestures for the touchscreen cockpit based on the dimensions participating in mutual awareness between pilots

• Auteur / Autrice : Valentin Becquet
• Direction : Catherine Letondal, Xavier Guchet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/12/2019
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Aéronautique-Astronautique (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Recherche ENAC
• Jury : Président / Présidente : Franck Poirier
• Jury : Examinateurs / Examinatrices : Catherine Letondal, Xavier Guchet, Franck Poirier, Pascal Salembier, Emmanuel Gardinetti, Aurélien Tabard
• Jury : Rapporteurs / Rapporteuses : Franck Poirier, Pascal Salembier

Mots clés

Mots clés contrôlés

Pilotes (aéronautique)

Avions -- Pilotage

Mots clés libres

Aéronautique

Surface tactile

Conscience mutuelle

Représentation geste

Cockpit

Colocalise

Aeronautic

Touchscreen

Mutual awareness

Gesture representation

Cockpit

Colocated

Résumé

L’activité de pilotage implique une étroite collaboration entre les pilotes. En effet,même si ceux-ci partagent un espace co-localisé, leur besoin en matière de conscience mutuelle correspond davantage à une collaboration à distance. Compte tenu de la séparation des tâches, ils doivent agir et regarder dans des directions parfois opposées tout en assurant une bonne coordination de l'activité globale. La parole, l’expressivité gestuelle et la disposition des contrôleurs physiques sont des moyens importants pour transmettre les informations utiles à la conscience mutuelle de la situation au sein du poste de pilotage.Cependant, dans les postes de pilotage des avions de ligne, les écrans tactiles sont en train progressivement de remplacer les contrôleurs physiques. Malgré les nombreux avantages des interactions tactiles et des affichages dynamiques, cela génère un problème dans le partage des informations transmises par les gestes entre les deux pilotes. Les gestes sont à la fois moins perceptibles et moins compréhensibles. L’objectif de ce travail de thèse est de combler ce déficit d'information en proposant un moyen de représenter, à même l'interface numérique tactile, les bonnes propriétés des gestes physiques, et ceci afin de préserver la capacité des pilotes à se coordonner.Pour cela, nous proposons la conception d’un système de représentation graphique permettant de suppléer les gestes effectués par les pilotes sur l'interface tactile. A partir de la littérature spécialisée et d’une analyse de l’activité gestuelle, nous avons identifié neuf informations produites par les gestes physiques et qui doivent idéalement être reproduite dans l'interaction avec l'interface numérique tactile. En complément, nous avons mené un état de l’art sur les représentations des gestes. Nous proposons une représentation iconique et abstraite en rupture avec les représentations basées sur la morphologie de la main. Des représentations ont été conçues et évaluées par des pilotes lors d’ateliers participatifs. Notre travail montre une nouvelle manière de représenter les gestes et permet d’identifier les informations recherchées par les pilotes afin qu'ils soient en capacité d'assurer leur conscience mutuelle. Par ailleurs, il apparait que les représentations des gestes ont des statuts d’importances différentes selon la situation, allant parfois jusqu’à être inutiles.

The flying activity involves close collaboration between pilots. Indeed, even if they share a co-located space, their need for mutual awareness is more a matter of collaboration at a distance. Given the separation of tasks, sometimes they must act and look in opposite directions while ensuring proper coordination of the overall activity. Speech, gestural expressiveness and the disposition of physical controllers are important means of transmitting useful information to the mutual awareness of the situation in the cockpit.However, in airliners cockpits, touch screens are gradually replacing physical controllers.Despite the many advantages of touch-based interactions and dynamic displays, this creates a problem in sharing the information transmitted by the gestures between both the pilots.The gestures are less perceptible and less understandable. The objective of this thesis workis to fill this information gap by proposing a way to represent, within the touch screen, the good properties of physical gestures in order to preserve the pilots' ability to coordinate.To do this, we propose to design a graphical representation system to supplement the actions performed by the pilots on the touch screen. Based on the literature and an analysis of gestural activity, we have identified nine types of information produced by physical gestures that should ideally be reproduced in the interaction with the touch screen. In addition, we conducted a state of the art on the representation of gestures. We proposed an iconic and abstract representation that breaks with representations based on the morphology of thehand. Representations were designed and evaluated by pilots in participatory workshops.Our work shows a new way of representing gestures and allows us to identify the informationneeded by pilots so that they are able to ensure their mutual awareness. Moreover, it appears that the representations of gestures have different statuses of importance depending on the situation, sometimes going so far as to be useless.