Modélisation des interactions non visuelles dans un environnement de travail mathématique visuel et non visuel synchronisé

Modelling the non visual interaction of a synchronised visual and non visual mathematical working environment

• Auteur / Autrice : Silvia Fajardo Flores
• Direction : Dominique Archambault
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2014
• Etablissement(s) : Paris 8
• Ecole(s) doctorale(s) : École doctorale Cognition, langage, interaction (Saint-Denis, Seine-Saint-Denis)

Mots clés

Mots clés contrôlés

Interfaces utilisateur (informatique)

Mathématiques -- Étude et enseignement

Éducation et informatique

Handicapés visuels

Résumé

Les élèves non voyants et malvoyants qui apprennent les mathématiques dans une environnement scolaire intégré font face à des problèmes qui vont au-delà de la difficulté des mathématiques elle-mêmes. La différence de représentation de contenus mathématiques et des outils de support utilisés par les personnes voyantes et les non voyantes rend difficile la communication directe entre eux. L'utilisation d'un ordinateur peut rendre possible la représentation de contenus mathématiques dans des modalités synchronisées qui conviennent à la fois aux voyants et aux non voyants, permettant ainsi la communication entre eux sans intermédiaire. Le but de notre travail consiste à identifier les caractéristiques de représentation et d'interaction visuelle et non visuelle souhaitables dans une interface qui puisse servir comme outil de support dans le processus d'enseignement-apprentissage de l'algèbre dans un environnement intégré. Nous avons développé un prototype d'interface multimodale qui suit les principes de la conception centrée sur l'utilisateur, dans laquelle les élèves et les enseignants de mathématiques, voyants et non voyants, sont impliqués dans les étapes du développement. Le prototype permet l'écriture de contenus mathématiques au clavier et sur la plage braille, ainsi que un mode de lecture active par la navigation granulaire, l'utilisation des commandes de support à la résolution d'équations.

The students with blindness who study mathematics in an integrated environment face problems that go beyond the difficulty of the subject. The difference of content representation and supporting tools makes difficult the direct communication between people with and without blindness. The computer makes possible the synchronised representation of contents in multiple modalities, allowing direct communication between them. The objective of this work is to identify the characteristics of visual and non visual representation and the interactions that could be useful on an interface to support the teaching and learning process of algebra learning in an integrated environment. We have developed a prototype of a multimodal interface following the principles of user centered design, in which students and mathematics teachers with and without visual disability were involved during the process of development. The prototype allows writing contents using the computer and the braille keyboard ; active reading is possible through different levels of navigation in the semantic tree of the expression ; we also provide some auxiliary functions to facilitate resolution.