Conception et réalisation d'un système multi-fonctionnel d'aide à la mobilité pour personnes mavoyantes et aveugles.

Design and implementation of a multifunctional assistive system for the mobility of visually impaired people

• Auteur / Autrice : Jean Connier
• Direction : Kun-Mean Hou
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2019
• Etablissement(s) : Université Clermont Auvergne‎ (2017-2020)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
• Jury : Examinateurs / Examinatrices : Jian-Jin Li, Serge Miguet, Alain Quilliot
• Jury : Rapporteurs / Rapporteuses : Edwige Pissaloux, Hai-ying Zhou

Mots clés

Mots clés contrôlés

Internet des objets

Handicapés visuels

Mots clés libres

Dispositif d’assistance

Malvoyance

Cécité

Internet des objets

Objets intelligents

Localisation

Assistive device

Visual impairment

Blindness

Internet of things

Smart objects

Localization

Résumé

Malvoyance et cécité sont sources d'importantes difficultés de mobilité chez les personnes qu'elles touchent. Pour tenter d'alléger la charge que font peser ces difficultés, des dispositifs d'assistance variés ont été imaginés, conçus, testés, et parfois adoptés. La conception de tels dispositifs d'assistance à la mobilité se heurte à l'ampleur de la problématique, située à l'intersection de trois domaines déjà individuellement complexes : malvoyance, mobilité, et perception. L'analyse de plusieurs types de dispositifs d'assistance – cannes classiques, électroniques, dispositifs urbains, dispositifs non directement dédiés à la mobilité – nous a aidé à faire ressortir plusieurs angles d'approche, selon les caractéristiques techniques, les fonctionnalités, la forme, et la dépendance à une infrastructure. Pris ensemble, ils ont permis de dresser un portrait général des dispositifs existants. À côté de ces approches assez classiques, nous proposons un modèle d'analyse des dispositifs selon la manière dont ils s'insèrent dans le processus perception / mobilité des personnes. Ce modèle présente l'intérêt de pouvoir s'appliquer, a priori, à l'ensemble des dispositifs et d'être à la fois pertinent dans leur évaluation et leur classification. Nous avons conçu et développé un dispositif d'assistance électronique, le système 2SEES reposant, comme son prédécesseur le SEES, sur trois plates-formes : une canne intelligente, un smartphone, et un serveur. Les problématiques d'autonomie et d'universalité, primordiales dans tout dispositif électronique mobile, sont explicitées et approfondies. Une nouveauté est la prise en compte des problématiques de robustesse : le 2SEES est donc construit autour de l'équilibre complexe entre autonomie, universalité, et robustesse, notions relativement peu visibles dans les travaux existants. Pour augmenter à la fois la robustesse et l'autonomie, nous avons intégré un nombre important de capteurs et de processeurs dans la canne, à la fois par la duplication de composants, de façon à augmenter la tolérance aux pannes, et par l'intégration de composants hétérogènes, afin d'augmenter la robustesse face à la diversité des environnements. Deux aspects de cet équilibre ont été plus spécifiquement étudiés. D'une part, la nécessité de robustesse a été mise en évidence par une analyse des affinités entre plusieurs types de capteurs d'obstacles et différents matériaux constituants potentiels d'obstacles. D'autre part, nous avons développé un prototype de fonctionnalité de localisation peu dépendante d'infrastructures, et donc déployable rapidement, ainsi qu'économe en énergie. Cette fonctionnalité repose principalement sur des capteurs embarqués (encodeur de roue, capteurs inertiels) et sur un filtre particulaire simplifié, qui estime la position de la personne en vérifiant la cohérence de trajectoires dérivées des données capteurs avec la carte du lieu. Outre la recherche de cet équilibre entre robustesse, autonomie, et universalité, nous avons développé une fonctionnalité novatrice de communication avec les objets intelligents, nommée SO2SEES. Cette fonctionnalité permet à l'utilisateur de poser des questions en langage naturel au système 2SEES, auxquelles ce dernier répond en exploitant les informations mises à disposition par les objets intelligents environnants. Afin de simplifier le système, la personne ne pose pas ses propres questions, mais les sélectionne dans un ensemble proposé en fonction du contexte formé parles objets présents et les données qu'ils mettent à disposition. Ce choix entraîne un basculement d'un système de compréhension du langage naturel, fonctionnant classiquement grâce à l'apprentissage machine, vers un système expert travaillant sur des bases de connaissances distribuées et dynamiques. (...)

Visual impairment and blindness are sources of mobility difficulties for the affected people. In orderto lighten the burden of these difficulties, many mobility aids have been imagined, designed, tested, and more or less adopted. Designers of such assistive systems soon run into the complexity of the issue, which stands at the intersection of three domains that are, by themselves, complex: visual impairment, mobility, and perception.Having decided to design an electronic assistive system from the beginning, we tried to step back and analyzed a wide range of blind aids: white canes, mobile electronic devices serving different mobility purposes, urban systems, and systems not primarily designed for mobility. Their diversity helped us analyze assistive systems through several prisms: according to their technical characteristics, their functions, their shape, and their dependence to an infrastructure. Taken individually, each of these approaches quickly shows its limits, but, together, they draw an interesting portrait of the existing devices. Besides these rather classical approaches, we propose a new model for analyzing assistive systems, which relies on the way these systems take place in a person's perception / mobility process. This model has the advantages of being, a priori, relevant forall assistive systems – in spite of their dissimilarity – and meaningful for both evaluation and classification.We have designed and built an electronic mobility aid, called the 2SEES system. Like its predecessor, the SEES system, the 2SEES relies on three platforms: a smart cane, a smartphone, anda cloud computing back-end. The issues of energy consumption and geographical universality, essential for any mobile device, are made explicit and studied. A novelty of the 2SEES resides in its account of reliability issues ; it is thus designed around the complex equilibrium between energy consumption, universality, and reliability. Despite their importance in a system destined to be adopted by end users, these three notions are scarcely visible in the relevant literature.To concurrently enhance robustness and autonomy, we have integrated several sensors and processors in the smart cane, both by introducing redundancy, for fault tolerance, and by integratingheterogeneous sensors, for robustness against the diversity of environments.Two aspects of this equilibrium have been further studied. First, the need for robustness has been highlighted by a study of affinities between obstacle sensors and several types of potential obstacle materials. Secondly, we have tried to develop an energy-efficient indoor localization function that islittle dependent on infrastructures, and therefore easily scalable. This function works with embedded sensors (wheel encoder, inertial measurement unit) and a simplified particle filter, which estimates the position by checking the coherence of trajectories derived from sensor data against themap of the location.In addition to this work on the balance between robustness, energy consumption, and universality, we have developed a novel function, named SO2SEES, which allows communication between usersof the 2SEES and smart objects. This function enables users to ask, in natural language, questions tothe 2SEES, which are answered using information coming from surrounding smart objects. In orderto keep the system simple, users do not formulate their own questions, but are instead invited to pick them in a set of predefined questions, which are proposed by the system according to the nearby objects and the information they offer. This mode of operation shifts the system from a natural language processing artificial intelligence to an expert system working on dynamic and distributed knowledge bases. In this latter configuration, the main issue is the interoperability between the 2SEES and the smart objects and their back-ends that take part in the functionality.