Usage de la parole et du geste dans les interfaces multimodales : étude expérimentale et modélisation

Use of speech and gesture in multimodal interfaces : experimental study and modelisation

• Auteur / Autrice : Christophe Mignot
• Direction : Noëlle Carbonell
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 1995
• Etablissement(s) : Nancy 1
• Partenaire(s) de recherche : Autre partenaire : Université Henri Poincaré Nancy 1. Faculté des sciences et techniques

Mots clés

Mots clés contrôlés

Gestes

Interaction humain-machine

Systèmes homme-machine

Reconnaissance automatique de la parole

Mots clés libres

Interface utilisateur

Dialogue homme machine

Traitement de la parole

Relation homme machine

Geste

Magicien d'Oz

Interface multimodale

Résumé

La conception des interfaces homme-machine multimodales vise à tirer un meilleur profit des moyens d'action et d'expression de l'utilisateur que sont la parole et le geste. Dans cette thèse, nous présentons, dans une première partie, une réflexion théorique sur les différentes capacités de chaque mode, manipuler et communiquer, et sur la manière de concevoir des systèmes informatiques capables d'en tirer profit. La seconde partie est une étude expérimentale, de type magicien d'oz, de l'usage par des utilisateurs novices d'une interface multimodale. L’objectif est de décrire et d'expliquer, pour l'informaticien concepteur d'interfaces multimodales, les facteurs qui déterminent l'usage de la parole et du geste dans une interaction homme-machine