Reconnaissance et interprétation des interactions tactiles multipoints

Recognition and interpretation of multi-touch gesture interaction

• Auteur / Autrice : Zhaoxin Chen
• Direction : Éric Anquetil
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 28/04/2017
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Comue : Université Bretagne Loire (2016-2019)
• Partenaire(s) de recherche : Université : Université de Nantes (1962-2021)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique et Systèmes Aléatoires / IRISA
• Jury : Président / Présidente : Hubert Cardot
• Jury : Examinateurs / Examinatrices : Éric Anquetil, Hubert Cardot, Véronique Eglin, Nicole Vincent, Christian Viard-Gaudin, Harold Mouchère
• Jury : Rapporteurs / Rapporteuses : Véronique Eglin, Nicole Vincent

Mots clés

Mots clés contrôlés

Écrans tactiles

Graphes topologiques, Théorie des

Reconnaissance des formes (informatique)

Systèmes homme-machine

Mots clés libres

Écrans tactiles

Interaction gestuelle

Human computer interaction

Multi-touch gesture

Pattern recognition

Graph classification

Early recognition

Résumé

La montée en puissance des écrans tactiles offre de nouvelles possibilités d'interactions gestuelles de plus en plus riches. De nos jours, les utilisateurs se contentent souvent de gestes mono-point ou multipoints simples pour exécuter des manipulations telles que la rotation, le déplacement ou la mise à l'échelle d'objets graphiques, la plupart du temps dans un contexte mono-utilisateur. Le travail décrit ici concerne l'utilisation avancée des gestes multipoints, comportant à la fois plus de commandes de raccourci (appelées commandes indirect es) et de commandes de manipulation (appelées commandes directes) dans un contexte d'utilisateurs multiples sur le même écran. Pour cela, nous analysons la forme des trajectoires composant le geste multipoints et les relations temporelles et spatiales entre ces trajectoires afin de caractériser ce geste. Nous proposons une modélisation par graphes et développons un système complet d'analyse et de reconnaissance. Pour résoudre le conflit entre la reconnaissance des gestes de manipulation et ceux de commande (directes versus indirectes), nous proposons une stratégie de reconnaissance précoce pour les gestes multipoints basée sur une option de rejet combinant plusieurs classifieurs pour reconnaître ces gestes au plus tôt. Pour valider nos approches, nous avons construit la base MTGSet composée de 7 938 gestes isolés multi points de 41 classes différentes et MUMTDB une base de gestes collectés dans un contexte réel d'interaction multiutilisateurs pour l'édition de diagrammes. Les résultats expérimentaux attestent que nos approches peuvent reconnaître les gestes multipoints dans ces différentes situations.

Due to the popularization of the touch screen devices, nowadays people are used to conduct the human-computer interactions with touch gestures. However, limited by current studies, users can use only simple multi-touch gestures to execute only simple manipulations such as rotation, translation, scaling, with most of time one user even if adapted devices are now available. The work reported here concerns the expanding usage of multi-touch gestures, that make them available at the same time for more shortcut commands (called indirect commands, as copy, past, ... ), more manipulation commands (called direct commands like zoom or rotation) and in the context of multiple users on the same screen. For this purpose, we analyze the shape of the gesture's motion trajectories and the temporal and spatial relations between trajectories in order to characterize a multi-touch gesture. We propose a graph modeling to characterize these motion features and develop a graph based analysis and recognition system. To resolve the conflict between interface manipulation and shortcut command inputs, we study and validate an early recognition strategy for multi-touch gesture. We built a reject option based multi-classifier early recognition system to recognize multi-touch gestures in early stage. To set-up, train and validate our systems, we built MTGSet, a multi-touch gesture dataset formed by 7938 gestures from 41 different classes collected in isolated contexts and MUMTDB a dataset of gestures collected in a real multi-user usage case of diagram drawing. The experimental results prove that our system can well recognize multi-touch gestures in these different situations.