Apprentissage et conception de compétences de control partagé pour robots d'assistance.

Learning and designing shared control skills from demonstrations for assistive robots.

• Auteur / Autrice : Gabriel Quere
• Direction : David Filliat
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le ; Soutenance le 16/12/2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : U2IS - Unité d'Informatique et d'Ingénierie des Systèmes
• Partenaire(s) de recherche : Equipe de recherche : SAR - Systèmes Autonomes et Robotique
• Jury : Président / Présidente : Paolo Robuffo giordano
• Jury : Examinateurs / Examinatrices : David Filliat, Nathanaël JARRASSé, Stefanos Nikolaidis, Ayse Kucukyilmaz, Adriana Tapus
• Jury : Rapporteurs / Rapporteuses : Nathanaël JARRASSé, Stefanos Nikolaidis

Mots clés

Mots clés libres

Control partagé

Robots d'assistance

Apprentissage de compétence

Shared control

Assitive robots

Skill learning

Résumé

Les robots d'assistance, tels qu'un bras robotique monté sur un fauteuil roulant, présentent un grand potentiel pour aider des personnes handicapées moteur à interagir avec leur environnement. Ces robots peuvent renforcer l'autonomie des utilisateurs en les aidant à effectuer des tâches quotidiennes essentielles telles que manger, boire ou ouvrir des portes. Toutefois, le contrôle de ces bras robotisés par des interfaces classiques (joysticks, ''sip-and-puff'' ou boutons) peut s'avérer difficile, car elles ont un peu de degrés de liberté comparé à l'espace de contrôle du robot. Bien que l'exécution autonome de tâches soit un domaine de recherche actif, impliquer des utilisateurs dans la boucle de contrôle augmente leur autonomie et tire parti de leur compréhension de la situation, ce qui au final améliore la robustesse du système. Par conséquent, pour faciliter l'utilisation de ces systèmes, il est essentiel de développer une assistance intuitive et des interfaces utilisateur efficaces. Cette thèse introduit une nouvelle méthode appelée ''Shared Control Templates'', qui fournit une assistance aux tâches quotidiennes avec du contrôle partagé. Elle explore des méthodes de conception de compétences de contrôle partagé qui peuvent aider de manière fiable des utilisateurs à effectuer leurs tâches, leur garantir une facilité d'utilisation et le contrôle des mouvements clés. Par exemple, une utilisatrice peut ainsi contrôler la quantité de liquide versé lorsqu'elle prépare une boisson, ou l'amplitude de l'ouverture lors de la manipulation d'un tiroir. Pour ce faire, les compétences spécifiques à la tâche sont représentées comme des machines à états finis, avec des transitions déclenchées par des éléments tels que des distances, des forces générées par des contacts avec l'environnement ou des pressions de boutons. Ces compétences comprennent deux éléments clés : les correspondances de commandes utilisateur et les contraintes actives. Les correspondances de commandes utilisateur précisent comment les commandes de l'utilisateur se traduisent en mouvements du robot, tandis que les contraintes actives imposent des limites géométriques à l'espace disponible pour l'outil du robot, ce qui sert à guider l'utilisateur et assurer la sécurité des opérations. Par exemple, lorsque l'utilisateur déverse le liquide d'une bouteille, le robot s'assure de ne pas en mettre à côté en contrôlant la position et l'orientation partielle de la bouteille, tandis que l'utilisateur détermine la quantité de liquide versée en contrôlant l'inclinaison de la bouteille. Pour faciliter la conception de ces compétences de contrôle partagé, cette recherche explore l'apprentissage semi-automatique de ces compétences à partir de l'enregistrement de trajectoires du robot lors de nouvelles tâches. Des formes géométriques de l'espace Euclidien sont utilisées comme contraintes dans des compétences telles qu'assister l'ouverture de tiroirs. Une bibliothèque de compétences pré-existantes est ensuite exploitée par le designer de compétences pour accélérer la conception de nouvelles compétences. Un modèle probabiliste - Kernelized Movement Primitives - est étudié, permettant de dériver des correspondances de commandes utilisateur et des contraintes actives.Ce modèle permet également à l'utilisateur d'adapter les compétences en fonction de l'environnement, ce qui améliore les phases de conception et d'exécution. Cette méthode de contrôle partagé est intégrée à un robot d'assistance doté d'un modèle de l'environnement, d'interfaces utilisateur et d'une coordination de l'ensemble du système. Elle permet à des personnes valides ou handicapées d'accomplir des tâches de la vie quotidienne, dans divers contextes tels que un laboratoire du DLR-RMC, le domicile des participants ou le CYBATHLON Challenges 2023.

Assistive robots, among which wheelchair-mounted robotic arms, hold great potential in supporting individuals with limited physical abilities and in helping them interact with their environment. These robots can enhance users' autonomy by assisting with daily activities such as eating, drinking, or opening doors. However, controlling such robotic arms through accessible interfaces (like joysticks, sip-and-puff devices or buttons) can be challenging, as these interfaces are lower dimensional than the control space of the robot. Although autonomous task execution is an active area of research, involving humans in the control loop increases users' agency, leverages their situational awareness and improves the robustness of the system. Therefore, to operate these systems more easily, the development of intuitive controls and effective user interfaces is essential. This thesis introduces a new framework called ''Shared Control Templates'' which provide task-specific assistance through shared control. It explores methods for designing shared control skills that can reliably assist users in completing tasks successfully, whilst ensuring ease of use and user control of key motions. For instance, the user will control the quantity of liquid that is to be poured when preparing a drink, or the appropriate opening when pulling out a drawer. To achieve this, task-specific skills - acting in task space - are represented as finite-state machines, with transitions triggered by factors such as distances, wrench generated from environmental contact, or user triggers. These skills comprise of two key components: input mappings and active constraints. Input mappings define how user commands translate into robot motions, while active constraints enforce geometric limits on the robot’s end-effector task space, guiding the user and maintaining safe operation. For example, when pouring liquid from a bottle, the robot ensures no spilling by controlling the bottle’s position and partial orientation, while the user determines how much liquid is poured by controlling the tilt angle. To facilitate the design of such shared control skills, this research explores semi-automatic learning of these skills from demonstrated end-effector trajectories. Geometric shapes in Euclidean space are used as constraints in skills such as opening drawers or cabinet doors. A library of pre-existing skills is then leveraged to accelerate the design of new skills by the skill designer. A probabilistic model - Kernelized Movement Primitives - is investigated to enable the derivation of input mappings and active constraints. This model also allows the adaptation of skills based on user input, enhancing both the design and execution phases. This shared control method is integrated with an assistive robot with a world model, user interfaces and a whole-body coordination of the entire system. It enables able-bodied and motor-impaired people to accomplish sequences of activities of daily living, in various settings such as a DLR-RMC laboratory, participants homes or the 2023 CYBATHLON Challenges.