Application de la neurocognition à l'étude de l'efficacité des motifs géométriques tactiles en 2D dans les cartes de navigation et les instructions destinées aux personnes malvoyantes

Application of neurocognition to study the effectiveness of geometric tactile 2D patterns in navigation maps and instructions for Visually Impaired Individuals

• Auteur / Autrice : Nasim Bagheri shouraki
• Direction : Pooran Memari
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : LIX - Laboratoire d'informatique

Mots clés

Mots clés libres

Apprentissage léger ou basé exemple

Motifs géométriques

Perception haptique

Électroencéphalographie (EEG)

Accessibilité

Light or example-based learning

Geometric patterns

Haptic perception

Eeg

Accessibility

Résumé

La navigation et l'orientation indépendantes représentent un défi important pour les personnes malvoyantes, ce qui nécessite la mise au point de technologies d'assistance innovantes. Plusieurs recherches se sont concentrées sur le développement de dispositifs haptiques ou de systèmes de retour d'information tactile pour fournir une aide à la navigation aux personnes aveugles et malvoyantes. En outre, les méthodes d'imagerie cérébrale ont été largement utilisées au cours des 50 dernières années pour comprendre comment les humains et d'autres espèces naviguent dans l'environnement, ouvrant la voie à l'utilisation d'outils tels que l'électroencéphalographie (EEG) pour étudier la dynamique cérébrale pendant la navigation dans des environnements artificiels, la prise de décisions de navigation ou l'utilisation d'informations cartographiques. La portabilité et la haute résolution temporelle de l'EEG en font un excellent outil méthodologique pour étudier les processus cognitifs en action. Il a également été utilisé pour étudier les réactions psychologiques des personnes à différents types d'environnements. Dans ce projet interdisciplinaire, nous visons à relever les défis de navigation auxquels sont confrontées les personnes malvoyantes en combinant la cartographie tactile et la technologie EEG. Notre objectif final est de développer et de valider des outils multisensoriels accessibles et peu coûteux qui permettront aux personnes malvoyantes de percevoir et d'interagir avec le monde physique par le biais de motifs géométriques tactiles et, par la suite, d'images mentales, ce qui améliorera la navigation. Dans la pratique, l'utilisation de simples motifs géométriques est très prometteuse.

Independent navigation and wayfinding poses a significant challenge for individuals who are visually impaired, necessitating the development of innovative assistive technologies. Several researches have focused on developing haptic devices or tactile feedback systems to provide navigational aid to blind and visually impaired individuals. In addition, brain-imaging methods have been used extensively during the last 50 years to understand how humans and other species navigate in the environment, making path for tools such as electroencephalography (EEG) to be utilized for studying brain dynamics during navigation in artificial environments, making navigational decisions, or utilizing cartographic information. The portability and high-temporal resolution of EEG make it an excellent methodological tool to investigate cognitive processes in action. It has also been used to investigate the psychological reactions of people to different types of environments. In this interdisciplinary project, we aim to address the navigational challenges faced by visually impaired individuals by combining tactile mapping and EEG technology. Our final goal is to develop and validate low-cost and accessible multi-sensory tools that will enable visually impaired individuals to perceive and interact with the physical world through tactile geometric patterns, and subsequently, mental images, leading to enhanced navigation. In practice, there is great promise in utilizing simple embossed printing to encode visual features through tactile geometric patterns, making it an economically accessible approach to generate novel educational supports without the need for sophisticated haptic devices. Beyond traditional evaluation methods (self-reports, behavior) the use of EEG will allow us to observe subtle changes in the cognitive and attentional processes of individuals using the tactile maps. Specifically, employing EEG technology will allow for investigating brain responses in reaction to different tactile patterns and evaluating their efficacy in different wayfinding scenarios, such as navigation during uncertainty, reorientation or decision making. In addition, this project aims to develop new tools for classification of EEG signals, using explainable-AI frameworks, to allow the unsupervised processing of EEG obtained during navigational activities of visually impaired individuals that will contribute to the development of future navigational support systems for critical scenarios. Finally, this range of distinctive tactile patterns, offered by our models and validated in this doctoral thesis, will be enriched by multi-sensory systems, such as Audio or Large language models (LLMs, advanced learning techniques currently employed to convert the input into generative parameters), in a parameterized and editable manner.