Manipulation robotique d'objets linéaires déformables basée sur la vision

Vision-based robotic manipulation of deformable linear objects

• Auteur / Autrice : Jihong Zhu
• Direction : Andrea Cherubini, Philippe Fraisse
• Type : Thèse de doctorat
• Discipline(s) : SYAM - Systèmes Automatiques et Micro-Électroniques
• Date : Soutenance le 24/03/2020
• Etablissement(s) : Montpellier
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Jury : Examinateurs / Examinatrices : Andrea Cherubini, Philippe Fraisse, Maximo Roa, François Chaumette, Véronique Perdereau
• Jury : Rapporteur / Rapporteuse : Maximo Roa, François Chaumette

Mots clés

Mots clés contrôlés

Interaction homme-robot

Commande automatique

Mots clés libres

Visual servoing

Manipulation

Objets déformables

Contrôle automatique

Visual servoing

Manipulation

Deformable objects

Automatic control

Résumé

En robotique, la manipulation d'objets déformables reçoit moins d'attention que celle d'objets rigides. Pourtant, de nombreux objets dans la vie réelle sont déformables. La recherche sur la manipulation d'objets déformables est indispensable pour doter les robots d'une dextérité de manipulation totale. La difficulté majeure de ce problème est que déformation de l'objet a un espace de configurations de dimensions infinie, tandis que les entrées du robots sont limitées. Dans le cadre de VERSATILE, un projet H2020 axé sur l'automatisation industrielle à l'aide de robots, nous avons axé nos recherches sur la manipulation d'objets déformables linéaires (câbles) par retour visuel.Une caractéristique de la manipulation des objets déformables est que la forme de l'objet change pendant la manipulation. Par conséquent, un problème important consiste à contrôler la forme de l'objet pendant la manipulation. Nous avons abordé le problème du contrôle de forme en exploitant le retour visuel.Dans un premier temps, nous avons représenté la forme de l'objet avec une série de Fourier. Nous estimons et mettons à jour la matrice d'interaction en ligne, puis nous concevons le contrôleur pour contrôler la forme.Ensuite, au lieu d'utiliser une caractéristique définie par l'humain pour le paramétrage, nous avons laissé le robot apprendre automatiquement les vecteurs de caractéristiques à partir des données visuelles. Nous proposons une méthode qui permet au robot de générer simultanément - et à partir des mêmes données - un vecteur de caractéristiques ainsi que la matrice d'interaction. Cette méthode nécessite un minimum de données pour l'initialisation. L'apprentissage et le contrôle peuvent être effectués en ligne de manière adaptative. Nous pouvons appliquer la même méthode à la manipulation d'objets rigides, directement et sans modification.Ces deux travaux ne requièrent aucune calibration de la caméra et ont été validés avec des expérimentations de robotique réelle.Un autre domaine d'importance dans la manipulation d'objets déformables est l'utilisation de contacts externes pour contrôler la forme de l'objet. Les contacts externes peuvent et doivent être utilisés pour la manipulation d'objets déformables. Nous considérons un scénario fréquent dans l'industrie - l'acheminement de câbles avec des contacts externes comme processus à automatiser avec notre robot. Nous proposons un algorithme de planification qui permet au robot d'utiliser des contacts pour déformer le câble et pour obtenir la configuration souhaitée. Des expériences robotiques réelles avec différents scénarios de placement de contacts permettent de valider nos algorithmes.

In robotics, the area of deformable object manipulation receives far less attention than that of rigid object manipulation. However, many objects in real life are deformable. Research on deformable object manipulation is indispensable to equip robots with full manipulation dexterity. Deformable linear object (DLO) is one type of deformable objects that commonly presents in the industry and households, for instance, electrical cables for power transfer, USB cables for data transfer, or ropes for dragging and lifting equipment. In the context of H2020 VERSATILE, a project focusing on industrial automation using robots, we focus our research on DLO manipulation via visual feedback.One characteristic of deformable object manipulation is that the object shape changes while being manipulated. Consequently, a research direction is to control the shape of the object during manipulation. We tackle the shape control problem by using vision. Initially, we parameterize the shape with Fourier series, estimate and update the interaction matrix online, and finally control the DLO shape.In the subsequent research, instead of using human-defined features for parameterization, we let the robot automatically learn feature vectors from visual data. We propose a method that allows the robot to simultaneously generate a feature vector and the interaction matrix from the same data. Our approach requires minimum data for initialization. Learning and control can be done online in an adaptive manner. We can also apply the method to rigid object manipulation directly without modification.Neither of the two frameworks requires camera calibration, and both are verified with simulation and real robotic experiments.Another area of importance in deformable object manipulation is the utilization of external contacts. The object deformation is defined in a configuration space of infinite dimension. Nonetheless, the inputs from robots are limited. External contacts can and should be used for manipulating deformable objects. We take a practical scenario in the industry -- cable routing with external contacts as the process to automate with our robot. We propose a planning algorithm that allows the robot to use contacts for shaping the cable and achieving the desired cable configuration. Real robotic experiments with different contact placement scenarios further validate the algorithms.