Manipulation robotique bi-bras d'objets souples basée vision

Vision-based robotic dual arm manipulation of soft objects

• Auteur / Autrice : Célia Saghour
• Direction : Andrea Cherubini, Philippe Fraisse
• Type : Thèse de doctorat
• Discipline(s) : Systèmes automatiques et micro-électroniques
• Date : Soutenance le 08/12/2023
• Etablissement(s) : Université de Montpellier (2022-....)
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Jury : Président / Présidente : Vincent Creuze
• Jury : Examinateurs / Examinatrices : Andrea Cherubini, Philippe Fraisse, Vincent Creuze, Youcef Mezouar, Alexandre Krupa, David Navarro-Alarcon
• Jury : Rapporteur / Rapporteuse : Youcef Mezouar, Alexandre Krupa

Mots clés

Mots clés contrôlés

Automatisation

Vision artificielle (robotique)

Robotique

Mots clés libres

Robotique

Vision

Automatique

Objets déformables

Robotics

Vision

Control systems

Soft objects

Résumé

Les objets non-rigides sont amplement présents autour de nous, qu'il s'agisse de notre vie quotidienne ou d'un contexte industriel. Malgré le besoin croissant d'automatisation de la manipulation de tels objets, il n'existe à ce jour pas de méthode générale et facilement implémentable pour contrôler la forme de ceux-ci. En effet, l'important nombre de degrés de liberté des objets souples fait qu'il est difficile de suivre et contrôler la façon dont ils se déforment pendant la manipulation.L'asservissement visuel non-calibré, une méthode permettant d'estimer en ligne un model caractérisant le contrôle du robot en fonction de données visuelles, a été développé et largement utilisé depuis des années. Pourtant, les premiers travaux implémentant l'asservissement visuel ne considèrent en général que les objets rigides. Plus récemment, des chercheurs ont conçu de multiples contrôleurs de formes, s'appuyant sur l'estimation de modèle, les réseaux de neurones ou encore l'apprentissage par renforcement pour calculer la commande d'un robot. Bien que ces méthodes présentent de bons résultats, il y a néanmoins des inconvénients, comme le besoin de connaissances sur l'objet en amont (forme, paramètres matériaux), un modèle spécifique (câbles, tissus), d'importantes bases de données ou un temps d'apprentissage élevé; tout cela peut limiter l'éventail d'applications possibles ou rendre l'implémentation de ces méthodes laborieuses.Cette thèse a pour objectif de combiner les concepts d'asservissement visuel, les méthodes de contrôle basées données ainsi que basées modèle, dans le but de contrôler la forme d'objets souples avec un robot bi-bras. Nous présentons d'abord une méthode de contrôle basée données pour déformer des objets en un contour 3D désiré, utilisant des référentiels de tâches coopératives pour coordonner deux bras robotiques. Cette méthode ne requiert aucune connaissance a priori de l'objet manipulé, mais est limitée au contrôle d'un contour 3D.Dans cette optique, nous proposons ensuite des outils pour construire de simples modèles géométriques et mécaniques en tirant profit du robot bi-bras à disposition. Nous implémentons des simulations physiques permettant de relier la déformation des modèles obtenus avec les déplacements des effecteurs du robot en temps réel.Enfin, nous utilisons ces simulations en temps réel, combinées à un retour visuel, pour alimenter une boucle de contrôle de forme prenant en compte le volume entier des objets manipulés. Notre méthode peut être utilisée avec peu de connaissance sur l'objet manipulé, permettant une mise en place facilitée et un plus large choix d'applications. De plus, l'utilisation de simulations remédie à la difficulté d'obtenir des données visuelles consistantes pour le calcul de commande. Tout au long du développement, des validations expérimentales sont conduites avec le robot BAZAR composés de deux bras robotiques KUKA, différents objets, et une seule caméra RBG-D statique.

Non-rigid objects are present everywhere in our daily life as well as industrial contexts. Despite the increasing need for automating their manipulation, there is to date no generally applicable and easily implementable method to control the shape of such objects. Indeed, the high number of Degrees of Freedom (DOF) of soft objects makes it difficult both to track and control the way they deform during manipulation.Uncalibrated visual servoing, a method where the model mapping visual data to robot control is estimated online, has been developped and widely used for years. Yet, the early works implementing visual servoing usually focus only on rigid objects. More recently, researchers have designed shape servoing controllers, relying on model estimation, neural networks or reinforcement learning to compute the command.Although these methods present good results, there are drawbacks - the need for prior knowledge of the object (shape, material parameters), specific models (cables, fabrics), huge datasets and high training time - all limiting the range of application or increasing the difficulty of implementation.This thesis aims to combine visual servoing, data-based and model-based methods with the goal of shaping soft objects with a dual-arm robot. We first present a data-based control framework to shape objects into a desired 3D contour, using cooperative tasks frames to coordinate both arms. This work does not require any knowledge of the manipulated object, but is limited to shaping a contour.With this in mind, we then propose tools to build geometrical and simple mechanical models while making use of the dual-arm robot setup. We implement physics simulations relating the deformation of the obtained models with the real-time displacements of the end-effectors.Finally, we use real-time simulations combined with visual feedback to feed the control framework to shape objects in their full volume. Our framework operates with little knowledge of the manipulated object, allowing a larger range of applications, and the use of simulations remedies the difficulties of getting visual data for control computation. Throughout the developments, we conduct experimental validations with the robot BAZAR composed of two KUKA arms and different soft objects, and a single static RGB-D camera.