Commande de fauteuil roulant électrique par données vocales et occulaires

Electric wheelchair control using vocal and visual data

• Auteur / Autrice : Manel Letaief
• Direction : Philippe Gorce, Nasser Rezzoug
• Type : Thèse de doctorat
• Discipline(s) : Automatique, signal, productique, robotique
• Date : Soutenance le 20/12/2018
• Etablissement(s) : Toulon
• Ecole(s) doctorale(s) : École doctorale Mer et Sciences (Toulon ; 2012-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de biomodélisation et Ingénierie des Handicaps (Toulon)
• Jury : Président / Présidente : Brice Isableu
• Jury : Examinateurs / Examinatrices : Nadine Vigouroux
• Jury : Rapporteurs / Rapporteuses : Mounir Sayadi, Philippe Pudlo

Mots clés

Mots clés contrôlés

Analyse visuelle des données

Commande oculaire

Chez le handicapé

Commande automatique

Troubles moteurs

Accessibilité aux handicapés

Équipement électrique

Fauteuils roulants

Handicapés moteurs

Mots clés libres

Fauteuil roulant

Commande visuelle

Analyse des mouvements

Passage de porte

Navigation

Extraction des paramètres

Classification

Environnements bruyants

Electric wheelchair

Gaze-based control

Movement analysis

Dooor crossing

Navigation

Feature extraction

Classification

Noisy environments

Résumé

Un pourcentage non négligeable de personnes à mobilité réduite se déplaçant en fauteuil roulant électrique éprouve de grandes difficultés à utiliser un joystick du fait de troubles moteurs sévères justifiant ainsi la proposition de modes de contrôle alternatifs.Dans ce cadre, l'objectif de cette thèse a été de contribuer à la conception, au développement et à la validation d'un système multimodal de commande pour les fauteuils roulants électriques dans lequel le niveau de déficience motrice de chaque personne est pris en compte tout en respectant les contraintes de sécurité. Notre démarche a été de développer des fonctionnalités qui permettent de proposer à l'utilisateur plusieurs modes de commande (manuelle, visuelle et vocale). Après une revue de littérature des modes de contrôle existants, notre choix s'est porté sur la commande vocale et visuelle. Dans le cadre de la commande vocale, une étude comparative de la performance des différents algorithmes d'extraction et de classification d'un signal vocale dans des environnements bruités a été menée afin de déterminer la meilleure combinaison pour l'identification de l'utilisateur et des commandes tenant ainsi compte d'impératifs de sécurité. Elle s'appuie sur une étude expérimentale intégrant 5 commandes, 20 locuteurs, 2 conditions de distances et 2 conditions de bruit environnant. La seconde contribution a consisté à développer un système de navigation doté d'un joystick visuel utilisant une capture de la direction du regard. Cette nouvelle interface et les commandes associées ont été validées de manière originale dans le cadre d'une expérimentation qui nous a permis de comparer les caractéristiques de la commande par le regard et par joystick. Celle-ci a consisté à enregistrer et caractériser le comportement des sujets à l'aide de variables issues de l'analyse du mouvement du fauteuil et de l'utilisation des commandes émises par l'utilisateur lors d'une tâche complexe de franchissement d'un passage étroit. En particulier, nous avons montré la faisabilité d'une telle commande et que la proposition de commandes mixtes rend la navigation plus naturelle par rapport aux interfaces classiques.

A significant percentage of people with reduced mobility have great difficulty navigating inelectric wheelchairs using a joystick due to severe motor disorders, thus justifying the proposal ofalternative control modes.In this context, the aim of this thesis was to contribute to the design, development and validation ofa multimodal control system for electric wheelchairs in which the level of motor disability of eachperson is taken into account while respecting safety constraints. Our approach was to developfunctionalities that allow us to offer the user several control modes (manual, visual and vocal).As part of the voice command, a comparative study of the performance of the different algorithmsfor extracting and classifying a voice signal in noisy environments was conducted to determine thebest combination for user identification and commands, taking into account safety requirements. It isbased on an experimental study integrating 5 commands, 20 speakers, 2 distance conditions and 2noise conditions.The second contribution consisted in developing a navigation system with a visual joystick using thedirection of the gaze. This new interface and the associated controls were validated in an original wayas part of an experiment that allowed us to compare the characteristics of the control by the gaze andby joystick. This consisted in recording and characterizing the subjects' behaviour using variablesissued from the analysis of the movement of the chair and the use of commands issued by the userduring a complex task of crossing a narrow passage. In particular, we have shown the feasibility ofsuch control and that the proposal for mixed commands makes navigation more natural thantraditional interfaces.