Méthode et système d'assistance à la navigation de personne basés sur la perception sonore d'une scène visuelle

Method and assistive navigation system based on auditory perception of a visual scene

• Auteur / Autrice : Florian Scalvini
• Direction : Julien Dubois, Maxime Ambard, Cyrille Migniot
• Type : Projet de thèse
• Discipline(s) : Instrumentation et informatique de l'image
• Date : Inscription en doctorat le 01/11/2020
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : SPIM - Sciences Physiques pour l'Ingénieur et Microtechniques
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Imagerie et Vision Artificielle

Mots clés

Mots clés libres

Assistance à handicap

Système embarqué

Implantation matérielle

Sonification

Temps-réel

Substitution visuel vers auditive

Handicap assistance

Embedded system

Hardware implementation

Sonification

Temps-réel

Visual to auditory substitution

Résumé

L'être humain appréhende, se situe et interagie avec son environnement mais également communique avec d'autre personnes grâce aux modalités sensorielles. Cependant, une déficience ou une absence d'information sensorielle, principalement la vision, peut altérer sa capacité de compréhension et d'interaction. De plus, une absence de faculté visuelle diminue grandement l'autonomie des personnes pour se mouvoir ou pour la réalisation de tâches quotidiennes malgré le fait le cerveau puisse compenser partiellement ce déficit d'information à travers l'exploitation accru d'autres modalités sensorielles. Afin d'améliorer l'indépendance des personnes malvoyantes et leurs autonomies, des solutions ou des méthodes d'aide ont été conçu comme la canne blanche, le système d'écriture Braille, …. Le projet Sound Glass s'inscrit dans la continuité d'enrichir l'information perçu par une personne malvoyante à travers le développement de lunette intelligente. L'objectif de la thèse est la mise au point d'un système d'aide via une approche de substitution sensorielle vers une autre modalité sensorielle d'une manière semblable au cerveau pour compenser le handicap. Le système s'appuiera sur l'ouïe pour retranscrire les données visuelles pertinentes pour l'accomplissement d'une tache via l'émission de signaux sonore. Dans le but d'avoir un système opérationnel, le dispositif devra prendre en compte des critères essentiels pour une utilisation quotidienne réaliste comme l'autonomie, l'encombrement et la réactivité.

Humans not only understand, locate, and interact with their environment, they also communicate with others through sensory modalities. However, a deficiency or absence of sensory information, primarily vision, can impair the ability to understand and interact. In addition, the lack of visual ability significantly decreases a person's independence in moving around or performing daily tasks, even though the brain can partially compensate for this information deficit through the increased use of other sensory modalities. In order to improve the independence of visually impaired people and their autonomy, solutions or aid methods have been designed such as the white cane, the Braille writing system, ...... The Sound Glass project is a continuation of the enrichment of information perceived by a visually impaired person through the development of smart glasses. The objective of the thesis is to develop an aid system via a sensory substitution approach towards another sensory modality in a way similar to the brain to compensate for the handicap. The system will rely on hearing to retranscribe visual data relevant to the accomplishment of a task via the emission of sound signals. In order to have an operational system, the device will have to take into account essential criteria for a realistic daily use such as autonomy, size and reactivity.