Reconnaissance et interprétation des interactions tactiles multipoints
Auteur / Autrice : | Zhaoxin Chen |
Direction : | Éric Anquetil |
Type : | Thèse de doctorat |
Discipline(s) : | Informatique |
Date : | Soutenance le 28/04/2017 |
Etablissement(s) : | Rennes, INSA |
Ecole(s) doctorale(s) : | École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes) |
Partenaire(s) de recherche : | Comue : Université Bretagne Loire (2016-2019) |
Université : Université de Nantes (1962-2021) | |
Laboratoire : Institut de Recherche en Informatique et Systèmes Aléatoires / IRISA | |
Jury : | Président / Présidente : Hubert Cardot |
Examinateurs / Examinatrices : Éric Anquetil, Hubert Cardot, Véronique Eglin, Nicole Vincent, Christian Viard-Gaudin, Harold Mouchère | |
Rapporteurs / Rapporteuses : Véronique Eglin, Nicole Vincent |
Mots clés
Résumé
La montée en puissance des écrans tactiles offre de nouvelles possibilités d'interactions gestuelles de plus en plus riches. De nos jours, les utilisateurs se contentent souvent de gestes mono-point ou multipoints simples pour exécuter des manipulations telles que la rotation, le déplacement ou la mise à l'échelle d'objets graphiques, la plupart du temps dans un contexte mono-utilisateur. Le travail décrit ici concerne l'utilisation avancée des gestes multipoints, comportant à la fois plus de commandes de raccourci (appelées commandes indirect es) et de commandes de manipulation (appelées commandes directes) dans un contexte d'utilisateurs multiples sur le même écran. Pour cela, nous analysons la forme des trajectoires composant le geste multipoints et les relations temporelles et spatiales entre ces trajectoires afin de caractériser ce geste. Nous proposons une modélisation par graphes et développons un système complet d'analyse et de reconnaissance. Pour résoudre le conflit entre la reconnaissance des gestes de manipulation et ceux de commande (directes versus indirectes), nous proposons une stratégie de reconnaissance précoce pour les gestes multipoints basée sur une option de rejet combinant plusieurs classifieurs pour reconnaître ces gestes au plus tôt. Pour valider nos approches, nous avons construit la base MTGSet composée de 7 938 gestes isolés multi points de 41 classes différentes et MUMTDB une base de gestes collectés dans un contexte réel d'interaction multiutilisateurs pour l'édition de diagrammes. Les résultats expérimentaux attestent que nos approches peuvent reconnaître les gestes multipoints dans ces différentes situations.