LOCOMOTION GENERALISEE REACTIVE BASEE VISION

TOWARDS A REACTIVE MOTION GENERATION ON EXTEROCEPTIVE FEEDBACK FOR GENERALIZED LOCOMOTION OF HUMANOID ROBOTS

• Auteur / Autrice : Kevin Giraud--Esclasse
• Direction : Olivier Stasse
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 18/12/2019
• Etablissement(s) : Toulouse, INSA
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : LAAS - Laboratoire d'Analyse et d'Architecture des Systèmes - Laboratoire d'analyse et d'architecture des systèmes / LAAS
• Jury : Président / Présidente : Philippe Soueres
• Jury : Examinateurs / Examinatrices : Olivier Stasse, Christine Chevallereau, Andrea Cherubini, Guillaume Allibert
• Jury : Rapporteurs / Rapporteuses : Christine Chevallereau, Andrea Cherubini

Mots clés

Mots clés contrôlés

Commande, Théorie de la

Robots humanoïdes

Mots clés libres

Robots humanoïdes

Locomotion

Génération de mouvement corps complet

IBVS

Contrôle optimal

Humanoid robots

Locomotion

Whole body motion generation,

IBVS

Optimal control

Résumé

Les robots humanoïdes ont besoin de capteurs exteroceptifs tels que des caméras pour percevoir leur environnement et accomplir des tâches dans celui-ci. Cette thèse s’articule autour de l'intégration d'informations visuelles pour la commande de robots. Plus spécifiquement, afin de générer un mouvement, des données visuelles sont nécessaires pour piloter le générateur de trajectoires corps complet sur terrain plat ou en multicontact. Nous rappelons tout d'abord comment un robot humanoïde est contrôlé pour une tâche de locomotion, à partir des positions de référence envoyées au planificateur qui calcule la séquence des contacts utilisés ensuite pour générer la trajectoire centroïdale. Celle-ci est injectée dans un générateur de trajectoires corps complet qui fournit des trajectoires articulaires à envoyer au robot via un stabilisateur. En fonction du type de données fournies par l'algorithme de vision (considéré comme une entrée lors de ce! tte thèse), des boucles visuelles peuvent être réalisées à différents niveaux du pipeline précédent. L'objectif était d'utiliser des sorties d’algorithmes de traitements visuels déjà disponibles pour fournir des résultats expérimentaux basés sur l'intégration des différents algorithmes mentionnés. Nous avons d’abord traité les données de motion capture comme des informations de haut niveau et les avons transmises à un générateur d'allures (PG) chargé de calculer les pas du robot. L'un des objectifs était de réaliser des tests d'intégration dans le projet européen KoroiBot en connectant les mouvements créés pour franchir des obstacles tels que des escaliers et une poutre. Les résultats sur le robot n'étaient pas à la hauteur de nos espérances en raison d'une mauvaise répétabilité du mouvement. En cause : les hypothèses utilisées entre le modèle et le robot réel ainsi que certains phénomènes externes comme l'usure mécanique et le! s effets du stabilisateur. Afin de mieux quantifier la répét! abilité et la fiabilité des algorithmes de marche du robot HRP2, nous avons réalisé des expériences en collaboration avec le Laboratoire National de métrologie et d'Essais (LNE). Nos collaborateurs ont fourni des plates-formes d'essais parmi lesquelles une salle climatique, un plan à inclinaison réglable et un plancher oscillant horizontalement pour mesurer des indicateurs de performance. Enfin, pour obtenir des mouvements en multicontacts basés sur les données visuelles, les projections des points d’intérêt sur le plan de la caméra ont été exprimées dans un problème de contrôle optimal et implémentées dans un solveur prometteur appelé DDP (Differential Dynamic Programming). Il permet de prendre en compte les non-linéarités de la projection des points d’intérêts directement dans le générateur de trajectoire du corps complet. Le robot TALOS a été utilisé pour la simulation de mouvements de locomotion en multicontact à l'aide de données vis! uelles. Le principal inconvénient réside dans les contraintes d'inégalité qui ne sont pas encore mises en œuvre dans l’implémentation du solveur DDP. Tous les éléments précédemment exposés sont utilisés ensemble depuis la spécification des positions de référence jusqu'à la simulation de mouvement en simulateur qui utilise le module de stabilisation avant d'être envoyés aux commandes de l'actionneur.

Humanoid robots need exteroceptive sensors such as cameras to perceive their environment and fulfill tasks in it. This thesis deals with the integration of visual information for robot control. More specifically, in order to realize a behavior, visual data are needed to drive the robot's whole body trajectory generator either on flat ground or in multicontact. We first recall how a humanoid robot is controlled for a locomotion task, starting from the reference positions sent to the planner that computes sequence of contacts used to generate centroidal trajectory. This one is injected in a Whole body trajectory generator that provides joint trajectories to be sent to the robot through a stabilizer. Depending on the type of data given by the vision block algorithm (considered as an input during this thesis), visual loops can be made at different levels of the previous pipeline. The objectives were to use on the shelf visual blocks outputs to provide experimental results bas! ed on former blocks integration. We treated first motion capture data as high level information giving them to a Pattern Generator (PG) in charge of computing steps for the robot. One goal was to realize integrative tests for the Koroibot challenge by connecting motions created to pass obstacles like stairs or a beam. Results on the robot were not satisfying due to poor motion repeatability. The fault was due to the assumptions used between model and real robot or external phenomena like mechanical wear and stabilizer effects. To have better quantification of the repeatability and reliability of the walking algorithms on the HRP2 robot, we realized experiments in collaboration with the French Metrology and Tests Laboratory (LNE). Our collaborators provided test plateforms like climatic room, adjustable angle slope and horizontal oscillations floor to measure Key Performance Indicators (KPI). Finally, to reach multicontact motions based on vision output, 2D features projecte! d on image camera plan have been expressed in a promising opti! mal control solver called DDP (Differential Dynamic Programming). It allows to take into account non-linearities of the features projection directly in the whole body trajectory generator. Simulations for locomotion motions with multicontact using simulated visual features were provided with the robot TALOS. The remaining main issue lies in the inequality constraints that are not implemented yet in the DDP solver core. In that last part, all the elements of the pipeline previously exposed are used together : from the pose specification to the motion passed on simulation that uses stabilization module before beeing sent to the actuator commands.