Apports multimodaux et interactifs pour améliorer la compréhension et la navigation de non-voyants utilisant un système de neuroprothèse visuelle

Contributions in the communication of meaningful and useful information to blind people people using visual neuroprostheses

• Auteur / Autrice : Julien Desvergnes
• Direction : Christophe Jouffrais, Vincent Charvillat
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunication
• Date : Soutenance le 05/12/2022
• Etablissement(s) : Toulouse, INPT
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Benoit Cottereau
• Jury : Examinateurs / Examinatrices : Christophe Jouffrais, Vincent Charvillat, Benoit Cottereau, Edwige Pissaloux, François Cabestaing, Émilie Loup-Escande
• Jury : Rapporteurs / Rapporteuses : Edwige Pissaloux, François Cabestaing

Mots clés

Mots clés contrôlés

Simulateurs

Effets des prothèses

Troubles de la vision

Mots clés libres

Neuroprothèses visuelles

Vision prothétique simulée

Simulateur de vision prothétique

Implant rétinien

Vision par ordinateur

Non-voyants

Accessibilité

Visual neuroprostheses

Simulated prosthetic vision

Prosthetic vision simulator

Retinal implant

Computer vision

Blind people

Accessibility

Résumé

Le dernier rapport de l’OMS sur la non-voyance rapporte que 253 millions de personnes souffrent de déficience visuelle (36 millions d’entre elles sont aveugles et 217 millions ont une déficience visuelle). Pour aider les non-voyants dans leurs tâches quotidiennes, de nombreux dispositifs ont été conçus. Les neuroprothèses visuelles sont des dispositifs apparus dans les années 60, qui permettent de rétablir une perception visuelle limitée chez les patients non-voyants implantés. Certaines de ces neuroprothèses, implantées dans la rétine ou dans le cortex visuel, comprennent un implant, un dispositif de calcul informatique et une caméra externe pour capturer la scène. Une perception visuelle appauvrie sous forme d’un ensemble de points blancs appelés phosphènes est alors restaurée grâce à une micro-stimulation de la rétine ou du cortex visuel via l’implant. Pendant les dix dernières années, plusieurs dispositifs ont été implantés sur des non-voyants et sont en phase d’essai clinique. Toutefois, la résolution (c’est-à-dire le nombre d’électrodes et leur densité) des implants actuels reste faible. Cette faible résolution, associée au nombre limité de couleurs différentes rendues par les implants, limite les informations qui peuvent être transférées et donc perçues. Au cours de nos travaux, nous nous sommes intéressés à l’intérêt et à la manière de coupler des mécanismes interactifs et multimodaux avec une neuroprothèse visuelle, dans l’objectif d’améliorer les capacités de décisions des non-voyants. Il s’agit plus précisément de savoir dans quelles mesures l’ajout d’un système d’indices audio permet aux non-voyants de se déplacer plus facilement, et dans quelles mesures l’ajout d’un système de sélection interactif de rendus permet de désambiguïser la scène. Dans ce mémoire, nous présentons les différentes technologies développées ces 30 dernières années ayant pour objectif de permettre à des non-voyants implantés de percevoir leur environnement en générant des cartes phosphéniques cohérentes. Nous abordons ensuite la question de la simulation de la vision prothétique, principalement due à la difficulté d’accès aux patients implantés. Ces simulateurs ont pour objectif de reproduire les conditions réelles de perception de phosphènes pour s’approcher le plus possible de la réalité. Ils permettent également de tester des méthodes de rendu originales. Nous présentons enfin deux études comparatives entre différents rendus, et nous montrons, d’une part, que l’ajout d’indices sonores couplés avec une restitution visuelle permet aux sujets de mieux comprendre la scène et de naviguer dans cette dernière, et, d’autre part, que donner aux non-voyants la possibilité d’alterner entre plusieurs modes de rendu en temps réel augmente significativement leur compréhension de l’environnement. En ce qui concerne l’ajout d’indices sonores, nous montrons que celui-ci permet aux sujets d’améliorer leurs capacités de perception de la scène (détection et localisation d’obstacles), et procure aux sujets un sentiment de confiance. En ce qui concerne le système interactif, nous montrons qu’il permet aux sujets d’avoir un meilleur taux de bonnes réponses à une série de questions réparties sur trois catégories (objets, rues, portes et passages piétons). De plus, les sujets montrent un intérêt certain pour ce système interactif.

According to the WHO, 253 million people suffer from visual impairment : 36 million of them are blind and 217 million have a visual impairment between moderate and severe. In France, there are 1.7 million visually impaired people, including 207,000 blind and profoundly visually impaired people and about 900,000 moderately visually impaired people. People with visual impairments traditionally use a cane or a guide dog to navigate. But canes and guide dogs have a limited role in understanding the visual scene. Visual neuroprostheses are devices that appeared in the 1960s, which allow the restoration of limited visual perception in blind implanted patients. Some of these neuroprostheses, localized in the retina or visual cortex, include an implant, a computing device and an external camera to capture the scene. An impoverished visual perception is then restored when the retina or visual cortex is microstimulated via the implant, leading to the appearance of white dots called phosphenes. Over the last ten years, several implants have been placed on blind people and are in clinical trials. The difficulty of access to blind people (whether implanted or not) constraints us to use simulators. Their objective is to reproduce the real conditions of perception of phosphenes in order to get as close as possible to reality. However, the resolution of the current implants (i.e. the number of electrodes and their spacing) that have passed the clinical trial phases remains low. This low resolution, associated with the limited number of different colors rendered by the implants, limits the information that can be transferred and thus perceived. In this document we present the different technologies developed over the last 30 years with the objective of allowing blind people with implants to perceive their environment by generating coherent phosphenic maps. We have set up two comparative studies between different renderings and we have shown, on the one hand, that the addition of sound cues coupled with a visual rendering allows the subjects to better understand the scene and to navigate in it, and on the other hand, that giving the blind the possibility to alternate between several rendering modes in real time significantly increases their understanding of the environment.