Téléopération du corps entier de Robots Humanoïdes

Whole-body Teleoperation of Humanoid Robots

• Auteur / Autrice : Luigi Penco
• Direction : Jean-Baptiste Mouret, Serena Ivaldi
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 07/06/2022
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Paolo Robuffo Giordano
• Jury : Examinateurs / Examinatrices : Jean-Baptiste Mouret, Serena Ivaldi, Dongheui Lee, Olivier Stasse, Jerry Pratt
• Jury : Rapporteur / Rapporteuse : Dongheui Lee, Olivier Stasse

Mots clés

Mots clés contrôlés

Apprentissage automatique

Robots humanoïdes

Télécommande

Robots -- Systèmes de commande

Mots clés libres

Téléopération

Humanoides

Machine Learning

Contrôle du corps entier

Teleoperation

Humanoids

Machine Learning

Whole-Body Control

Résumé

Cette thèse vise à étudier des systèmes et des outils pour la télé-opération d'un robot humanoïde. La téléopération de robots est cruciale pour envoyer et contrôler les robots dans des environnements dangereux ou inaccessibles pour les humains (par exemple, des scénarios d'intervention en cas de catastrophe, des environnements contaminés ou des sites extraterrestres). Le terme télé-opération désigne le plus souvent le contrôle direct et continu d'un robot. Dans ce cas, l'opérateur humain guide le mouvement du robot avec son propre mouvement physique ou via un dispositif de contrôle. L'un des principaux défis est de contrôler le robot de manière à garantir son équilibre dynamique tout en essayant de suivre les références humaines. De plus, l'opérateur humain a besoin d'un retour d'information sur l'état du robot et de son site via des capteurs à distance afin d'appréhender la situation ou de se sentir physiquement présent sur le site, produisant des comportements de robot efficaces. Des complications surviennent lorsque le réseau de communication n'est pas idéal. Dans ce cas, les commandes de l'homme au robot ainsi que la rétroaction du robot à l'homme peuvent être retardées. Ces délais peuvent être très gênants pour l'opérateur humain, qui ne peut pas télé-opérer efficacement son avatar robotique. Un autre point crucial à considérer lors de la mise en place d'un système de télé-opération est le grand nombre de paramètres qui doivent être réglés pour contrôler efficacement les robots télé-opérés. Des approches d'apprentissage automatique et des optimiseurs stochastiques peuvent être utilisés pour automatiser l'apprentissage de certains paramètres. Dans cette thèse, nous avons proposé un système de télé-opération qui a été testé sur le robot humanoïde iCub. Nous avons utilisé une combinaison de capture de mouvement basée sur la technologie inertielle comme périphérique de contrôle pour l'humanoïde et un casque de réalité virtuelle connecté aux caméras du robot pour obtenir un retour visuel. Nous avons d'abord traduit les mouvements humains en mouvements robotiques équivalents en développant une approche de retargeting de mouvement qui atteint la ressemblance humaine tout en essayant d'assurer la faisabilité du mouvement transféré. Nous avons ensuite implémenté un contrôleur du corps entier pour permettre au robot de suivre le mouvement humain reciblé. Le contrôleur a ensuite été optimisé en simulation pour obtenir un bon suivi des mouvements de référence du corps entier, en recourant à un optimiseur stochastique multi-objectifs, ce qui nous a permis de trouver des solutions robustes fonctionnant sur le robot réel en quelques essais. Pour télé-opérer les mouvements de marche, nous avons implémenté un mode de télé-opération de niveau supérieur dans lequel l'utilisateur peut utiliser un joystick pour envoyer des commandes de référence au robot. Nous avons intégré ce paramètre dans le système de télé-opération, ce qui permet à l'utilisateur de basculer entre les deux modes différents. Un problème majeur empêchant le déploiement de tels systèmes dans des applications réelles est la présence de retards de communication entre l'entrée humaine et le retour du robot : même quelques centaines de millisecondes de retard peuvent irrémédiablement perturber l'opérateur, encore plus quelques secondes. Pour surmonter ces retards, nous avons introduit un système dans lequel un robot humanoïde exécute des commandes avant de les recevoir, de sorte que le retour visuel semble être synchronisé avec l'opérateur, alors que le robot exécutait les commandes dans le passé. Pour ce faire, le robot prédit en permanence les commandes futures en interrogeant un modèle d'apprentissage automatique formé sur les trajectoires passées et conditionné aux dernières commandes reçues.

This thesis aims to investigate systems and tools for teleoperating a humanoid robot. Robot teleoperation is crucial to send and control robots in environments that are dangerous or inaccessible for humans (e.g., disaster response scenarios, contaminated environments, or extraterrestrial sites). The term teleoperation most commonly refers to direct and continuous control of a robot. In this case, the human operator guides the motion of the robot with her/his own physical motion or through some physical input device. One of the main challenges is to control the robot in a way that guarantees its dynamical balance while trying to follow the human references. In addition, the human operator needs some feedback about the state of the robot and its work site through remote sensors in order to comprehend the situation or feel physically present at the site, producing effective robot behaviors. Complications arise when the communication network is non-ideal. In this case the commands from human to robot together with the feedback from robot to human can be delayed. These delays can be very disturbing for the human operator, who cannot teleoperate their robot avatar in an effective way.Another crucial point to consider when setting up a teleoperation system is the large number of parameters that have to be tuned to effectively control the teleoperated robots. Machine learning approaches and stochastic optimizers can be used to automate the learning of some of the parameters.In this thesis, we proposed a teleoperation system that has been tested on the humanoid robot iCub. We used an inertial-technology-based motion capture suit as input device to control the humanoid and a virtual reality headset connected to the robot cameras to get some visual feedback. We first translated the human movements into equivalent robot ones by developping a motion retargeting approach that achieves human-likeness while trying to ensure the feasibility of the transferred motion. We then implemented a whole-body controller to enable the robot to track the retargeted human motion. The controller has been later optimized in simulation to achieve a good tracking of the whole-body reference movements, by recurring to a multi-objective stochastic optimizer, which allowed us to find robust solutions working on the real robot in few trials.To teleoperate walking motions, we implemented a higher-level teleoperation mode in which the user can use a joystick to send reference commands to the robot. We integrated this setting in the teleoperation system, which allows the user to switch between the two different modes.A major problem preventing the deployment of such systems in real applications is the presence of communication delays between the human input and the feedback from the robot: even a few hundred milliseconds of delay can irremediably disturb the operator, let alone a few seconds. To overcome these delays, we introduced a system in which a humanoid robot executes commands before it actually receives them, so that the visual feedback appears to be synchronized to the operator, whereas the robot executed the commands in the past. To do so, the robot continuously predicts future commands by querying a machine learning model that is trained on past trajectories and conditioned on the last received commands.