Reconstruction et localisation tactile des objets en manipulation robotique

Tactile SLAM : Simultaneous Reconstruction And Localization of Objects For Robotic Manipulation

• Auteur / Autrice : Ghani Kissoum
• Direction : Véronique Perdereau
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 31/03/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Catherine Achard
• Jury : Examinateurs / Examinatrices : Juan Antonio Corrales Ramón, Zhanat Kappassov
• Jury : Rapporteurs / Rapporteuses : Youcef Mezouar, Jean-Pierre Gazeau

Mots clés

Mots clés contrôlés

Modèles mathématiques

Manipulateurs (mécanismes)

Perception des objets

Toucher

Robotique

Mots clés libres

Manipulation robotique

Perception tactile

Reconstruction d'objets

Robotic manipulation

Tactile perception

Objects reconstruction

Résumé

Un robot manipulateur destiné à la saisie et à la manipulation d’objets nécessite un système de perception pour connaître les caractéristiques de l’objet à manipuler, afin de planifier correctement les tâches assignées. Les systèmes robotiques utilisent souvent la vision pour acquérir des informations sur la forme et la localisation d’un objet. Or, il existe des situations où la vision n’est plus opérationnelle, comme dans les environnements sombres et poussiéreux. Dans ces situations, la perception tactile est plus appropriée pour chercher des informations sur les objets manipulés. Elle permet, à travers de multiples contacts avec l’objet, d'acquérir des données sur sa surface et ainsi construire un modèle de sa forme. Ce travail de thèse s'intéresse à la reconstruction de modèles d'objets, à partir d’informations tactiles collectées par des capteurs de contact installés sur les bouts des doigts d’une main robotique, à travers des actions de saisie et de manipulation successives de l’objet. Nous nous intéressons d’abord à la question de modélisation précise de la surface ou d’une partie de la surface de l’objet à partir des informations collectées. Pour cela, le choix a été porté sur une méthode probabiliste appelée “Gaussian Process Implicit Surface” (GPIS) qui offre la possibilité de décrire efficacement différentes formes géométriques, à partir de quelques informations tactiles. Ensuite, nous nous intéressons au suivi de la pose d'objets pendant l’exploration, afin d’assurer un recalage correct des différentes parties de l’objet. Cela a été traité à l’aide d’un filtre à particules qui estime et corrige la pose de l’objet à chaque nouvelle acquisition d’informations tactiles. Cependant, le suivi récursif de la pose ne peut être continuellement assuré en raison de la rareté des informations et de l’absence d’une correspondance entre les nouvelles données et les données collectées précédemment. Nous présentons une méthode d’optimisation de graphe de poses pour dépasser les limites de la méthode d'estimation récursive. Enfin, la dernière partie de cette thèse est dédiée au développement de méthodes d’acquisition autonome d’informations tactiles (exploration autonome) avec le robot. Les méthodes développées s’appuient sur une évaluation de l’incertitude sur la forme de l’objet exploré, et la décomposition de sa surface avec un algorithme de clustering en des parties à explorer. Nous faisons appel à des techniques issues de la théorie de l’information qui permettent de prédire et quantifier le gain d’information de chaque action d’exploration réalisée par le robot.

A manipulator robot intended for grasping and manipulating objects requires a perception system to know the characteristics of the object to be manipulated in order to correctly plan the assigned tasks. Robotic systems often use vision to get information about the shape and location of an object. However, vision is no longer operational in some situations, such as in dark and dusty environments. In these situations, tactile perception is more appropriate for seeking information on manipulated objects. It allows the acquisition of contact information through multiple contacts with the object and uses them to build a model of its shape. This thesis work focuses on reconstructing object models from tactile information collected by contact sensors installed on the fingertips of a robotic hand through successive grasping and manipulating actions of the object. We are first interested in precisely modeling the surface, or a part of the object's surface, using the collected information. We have chosen a probabilistic method called "Gaussian Process Implicit Surface" (GPIS), which can efficiently describe different geometric forms from sparse tactile information. Secondly, we are interested in the tracking of objects during exploration in order to ensure correct registration of the different parts of the object. The tracking is handled using a particle filter algorithm that re-estimates and corrects the object's pose at each new acquisition of tactile information. However, recursive pose tracking cannot be continuously guaranteed due to the sparsity of tactile information and the lack of a match between recent and previously collected data. We use a pose graph optimization method to overcome the limitations of the recursive estimation method. Finally, the last part of this thesis focuses on developing methods for the autonomous acquisition of tactile information (autonomous exploration) with the robot. The developed methods are based on evaluating the uncertainty of the object's shape and the decomposition of its surface into areas to explore using a clustering algorithm. We use techniques from information theory to predict and quantify the information gained from each exploration action performed by the robot.