Commande multimodales et multi-objectives par programmation quadratique pour robot humanoïde en applications industrielles.

Multimodal and multi-objectives control by quadratic programming for humanoid robot in industrial contexts

• Auteur / Autrice : Kevin Chappellet
• Direction : Abderrahmane Kheddar, Kanehiro Fumio
• Type : Thèse de doctorat
• Discipline(s) : SYAM - Systèmes Automatiques et Micro-Électroniques
• Date : Soutenance le 22/12/2021
• Etablissement(s) : Montpellier
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Joint Robotics Laboratory
• Jury : Président / Présidente : Youcef Mezouar
• Jury : Examinateurs / Examinatrices : Abderrahmane Kheddar, Kanehiro Fumio, Philippe Martinet, Jochen Steil, Guillaume Caron, Éric Marchand
• Jury : Rapporteur / Rapporteuse : Philippe Martinet, Jochen Steil

Mots clés

Mots clés contrôlés

Programmation quadratique

Robots humanoïdes

Mots clés libres

Robot Humanoïde

Commande Espace Tâche

Programmation Quadratique

Humanoid Robot

Task Space Control

Quadratic Programmation

Résumé

Récemment, les domaines d’application des robots humanoïdes se sont progressivement déplacés des prototypes de recherche en laboratoire, d’agents robotique d’assistance sociale vers des applications industrielles telles que la manufacture dans des usines à grande échelle; ex., l’aéronautique, les chantiers navals et le bâtiment. En effet, les robots humanoïdes peuvent assister des opérateurs dans des tâches bien identifiées, fastidieuses et sans valeur ajoutée, en fonction du contexte industriel.Le défi est de permettre aux robots humanoïdes d’opérer dans de tels environnements de manière autonome tout en exécutant des tâches avec des vitesses d’exécution comparables à celles de l’homme et de partager l’espace de travail avec lui.Cependant, l’obtention d’un mouvement humanoïde semblable et comparable à celui d’un humain est encore complexe et nécessite des efforts de recherche supplémentaires; en particulier lorsqu’il s’agit de réaliser en même temps de la manipulation et de la locomotion (loco-manipulation).Les opérations de fabrication nécessitent des robots capables de se déplacer dans des espaces de travail vastes et changeants et de gérer différents types de tâches ; l’adaptabilité est donc primordiale.Cette forme d’autonomie peut intégrer la capacité pour le robot de se localiser, de détecter et de manipuler divers objets d’intérêt pour accomplir les tâches.L’objet de cette thèse est la sophistication des méthodes de contrôle de l’espace des tâches, en particulier celles formulées sous forme d’optimisation d’un programme quadratique (QP).Nous montrons l’avantage d’intégrer les contrôleurs QP comme un seul problème pour gérer les interactions multi-robots (MQP) (où tout objet est considéré comme un “robot” supplémentaire).Nous avons mis l’accent sur le contrôle de la force en boucle fermée où le MQP peut passer d’un mode à l’autre, ce qui permet aux robots de se fier aux capteurs de force lors du contact ou de l’interaction physique.Ensuite, pour intégrer les tâches de vision, nous avons développé un suiveur de pose d’objet articulé basé sur un modèle 3D et reposant sur un capteur RGB qui peut également être formulé comme une QP dans l’espace accélération.Ce suiveur sert d’entrée au MQP (les deux QP partagent le même modèle d’objet) pour réaliser la tâche de manipulation souhaitée.Nous montrons que notre algorithme est capable de suivre des objets articulés, de faire face à des caractéristiques manquantes/occultées et à des environnements encombrés.Dans nos premiers travaux, nous avons utilisé une caméra RGB-D classique qui a déjà démontré sa force avec de nombreux algorithmes et applications.Cependant, en termes de capteurs de vision, le matériel évolue constamment et apporte de nouvelles capacités.Comme pour de nombreuses raisons nous n’avons qu’une seule caméra embarquée dans nos robots humanoïdes, son choix est important.Nous avons mené une étude comparative sur différents types de caméras pour évaluer leurs performances en termes de fiabilité et de précision pour le SLAM visuel et sous différentes perturbations dans un environnement intérieur.Cela nous a permis de choisir une caméra en sachant qu’elle sera utilisée simultanément pour le suivi d’objets et la localisation des robots.Pour exploiter pleinement les capacités de cette caméra, nous avons développé un suivi d’objet basé sur un modèle 3D en utilisant sa nouvelle modalité : l’image de profondeur grand angle.Son utilisation en conjonction avec le SLAM et le MQP lui permet de disposer d’un cadre pour effectuer de manière autonome la locomotion d’objets lourds et de grande taille, tels que des bobines, afin de réaliser des cas d’utilisation industrielle.Nous avons réalisé des travaux expérimentaux importants et poussés pour valider le cadre proposé avec notre dernier robot humanoïde HRP-5P et son prédécesseur HRP-2Kai.

Recently, the application fields of humanoids are gradually shifting from laboratory research prototypes, entainterrment, social assistant agent to large-scale manufacturing industries such as aeronautics, shipyards, and building.Indeed humanoid robots can assist and help in well-identified tedious non-added values tasks depending on the industrial context.The challenge is to enable manufacturing humanoid robots to operate in their environment autonomously while performing tasks with, at least, human speed while being in close physical contact with other workers.However, achieving human-like full-body motion for humanoid robots is still complex and requires additional research efforts; especially when it involves both manipulation and loco-motion: the loco-manipulation.Manufacturing operations require robots capable of moving in large and changing workspaces and to manage different types of tasks; thus adaptability is paramount.This form of autonomy can embed the capacity to locate itself, to detect and manipulate various objects of interest to accomplish the task.The purpose of this thesis is the sophistication of task-space control methods, in particular those formulated as quadratic optimization (QP).We show the benefit of integrating QP controllers as a single problem for handling multi-robot (MQP) interactions (where any object is considered as an additional “robot”).We emphasized on the closed-loop force control where the MQP can switch in-between different modes enabling the robots to rely on force sensors in physical contact/interaction.Then, to integrate vision tasks, we developed a 3D model-based articulated object estimator relying on an RGB sensor that can also be formulated as a QP in the acceleration space.This estimator serves as input to the MQP (both QPs share the same object model) to achieve the desired manipulation task. We show that our algorithm is able to track articulated objects, cope with missing / occluded features and messy environments, where our humanoid robot HRP-4 manipulated them in different experiments.In our previous works, we used a classic RGB-D camera that has already demonstrated its strength with numerous algorithms and applications.However in terms of vision sensors, the hardware is constantly evolving and bringing-up new capabilities.As for many reasons we only have a unique camera embedded in our humanoid robots, its choice is important.We conducted a benchmark study on different types of cameras to evaluate their performance in terms of reliability and accuracy for vSLAM under different perturbations in indoor contexts.It helped us choose a camera knowing that it will concurrently be used for object tracking.To use the full capability of this camera, we developed a 3D model-based object tracking using its new modality: the wide-angle depth image. Its use in conjunction with existing vSLAM and MQP allows it to have a framework to autonomously perform loco-manipulation of large-scale and heavy objects, such as bobbins, to achieve industrial use-cases.We have carried out important and challenging experimental works to validate the proposed framework with our latest humanoid robot HRP-5P and its predecessor HRP-2Kai.