Simulation d'un robot collaboratif et de son jumeau numérique par méthodes d'apprentissage profond

Simulation of a companion robot and its digital twin by deep learning methods for trajectory optimization

• Auteur / Autrice : Xinping Gu
• Direction : Olivier Bruneau
• Type : Projet de thèse
• Discipline(s) : Génie mécanique
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques et énergétiques, matériaux et géosciences (Gif-sur-Yvette, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Universitaire de Recherche en Production Automatisée
• Partenaire(s) de recherche : Equipe de recherche : Géométrie tridimensionnelle des pièces et des mécanismes
• Partenaire(s) de recherche : Référent : École normale supérieure Paris-Saclay (Gif-sur-Yvette, Essonne ; 1912-....)

Mots clés

Mots clés libres

Robotique

Apprentissage profond

Optimisation de trajectoire

Algorithmes bio-inspirés

Jumeau numérique

Piloté par les données

Robotics

Deep learning

Trajectory optimization

Bio-inspired algorithms

Digital twin

Data-driven

Résumé

Les robots et l'intelligence artificielle jouent un rôle de plus en plus important dans la société et dans le domaine des services. Les capacités de vitesse et d'accessibilité des robots sont largement reconnues et exploitées. Néanmoins, la complexité d'utilisation des objets ou outils utilisés par l'homme et les défauts structuraux élasto-géométriques des robots sont des facteurs limitant leurs performances en termes de précision et de répétabilité, mais aussi en termes de prédiction et de suivi de trajectoire. D'un point de vue mécanique, la modélisation approfondie des défauts structuraux des robots (erreurs géométriques, déformations élastiques au niveau des segments et des articulations de la structure, jeux) est une des réponses à ce type d'inconvénient. Cependant, cela nécessite une modélisation sophistiquée et un long processus d'identification de nombreux paramètres, par exemple : plus d'une centaine pour un robot anthropomorphe classique. De plus, certains de ces paramètres sont susceptibles d'évoluer dans le temps ou même au cours d'une tâche, par exemple lors de la prise d'un objet tel qu'une tasse. Ceci a pour conséquence de remettre partiellement en cause l'optimisation hors ligne de la trajectoire effectuée précédemment et rend complexe la correction en ligne (voire la ré-optimisation) de ces trajectoires. Ces constats conduisent à envisager l'établissement d'un jumeau numérique basé d'une part sur des modèles robotiques classiques (modèles géométriques et dynamiques, directs et inverses ; modèles intégrant les défauts liés aux jeux et aux flexibilités), d'autre part alimentés, enrichis et mis à jour à partir des données capteurs du robot de référence (dans ce cas on utilisera les capteurs virtuels d'un robot simulé intégrant des défauts pseudo-aléatoires liés au frottement, à la flexibilité et au jeu), et dont l'objectif est de refléter de manière très réaliste le comportement de ce robot de référence mais aussi de prédire avec une très bonne fiabilité son comportement futur par rapport aux consignes prescrites. Ces capacités de prédiction seront utilisées d'une part pour ré-optimiser les trajectoires initiales mais aussi pour corriger en temps réel les écarts détectés entre les trajectoires effectuées lors de la tâche et les trajectoires prescrites. Les parties incertaines et pseudo-aléatoires échappant à la modélisation conventionnelle seront traitées de manière complémentaire par des méthodes d'apprentissage profond fournissant des modèles efficaces de relations entrée-sortie à partir d'instructions de consignes et de données de capteurs (ici virtuels). Ces deux aspects (basé sur les modèles et basé sur les données) constitueront le jumeau numérique hybride bénéficiant d'une part de la structuration des modèles classiques mais aussi ayant la capacité de s'adapter, d'apprendre et de corriger en ligne grâce aux méthodes d'apprentissage profond. Nous proposons donc dans cette thèse très exploratoire l'exploitation de méthodes d'intelligence artificielle issues d'approches d'optimisation bio-inspirées et d'apprentissage profond pour, d'une part, maîtriser des tâches telles que celle de prendre et déposer un objet, d'autre part, corriger les consignes envoyées au robot de référence simulé en amont en compensant ses défauts élasto-géométriques pour que les trajectoires effectuées par ce robot de référence tendent vers celles souhaitées, et, enfin, en corrigeant en ligne les écarts détectés par rapport aux trajectoires prescrites.

Robots and artificial intelligence play an increasingly important role in society and in the field of services. The speed and accessibility capabilities of robots are widely recognized and exploited. Nevertheless, the complexity of the use of objects or tools used by humans and the elasto-geometric structural defects of robots are factors limiting their performance in terms of accuracy and repeatability, but also in terms of prediction and trajectory tracking. From a mechanical point of view, the in-depth modeling of the structural defects of robots (geometric errors, elastic deformations at the level of the parts and joints of the structure or backlashes) is one of the responses to this type of inconvenience. However, it requires sophisticated modeling and a long process of identifying many parameters, for example: more than a hundred for a classic anthropomorphic robot. In addition, some of these parameters are likely to change over time or even during a task in progress, for example when picking up an object such as a cup. This has the consequence of partially calling into question the offline optimization of the trajectory carried out previously and makes the online correction (or even re-optimization) of these trajectories complex. These findings lead to considering the establishment of a digital twin based on the one hand on classic robotics models (geometric and dynamic, direct and inverse models; models integrating the defects linked to backlashes and flexibilities), on the other part fed, enriched and updated from sensor data from the reference robot (in this case we will use the virtual sensors of a simulated robot integrating pseudo-random defects related to friction, flexibility and backlash), and whose the objective is to reflect in a very realistic way the behavior of this reference robot but also to predict with a very good reliability its future behavior relative to the prescribed instructions. These prediction capabilities will be used on the one hand to re-optimize the initial trajectories but also to correct in real time the deviations detected between the trajectories performed during the task and the prescribed trajectories. The uncertain and pseudo-random parts escaping conventional modeling will be treated in a complementary way by deep learning methods providing effective input-output linking models from setpoints instructions and sensor data (virtual here). These two aspects (model-based and data-based) will constitute the hybrid digital twin benefiting on the one hand from the structuring of classic models but also having the capacity to adapt, learn and correct online thanks to deep learning methods. We therefore propose in this very exploratory thesis the exploitation of artificial intelligence methods from bio-inspired optimization approaches and deep learning to, on the one hand, master tasks such as that picking up and setting down an object, on the other hand, correcting the set-point instructions sent to the simulated reference robot upstream by compensating for its elasto-geometric structural defects so that the trajectories performed by this reference robot tend towards those desired, and, finally, correcting on-line the deviations detected with respect to the prescribed trajectories. On the one hand, the classic methods of optimization and correction of trajectories have shown their limits on real robotics problems [24, 25]. On the other hand, intelligent methods of the bio-inspired type such as neural networks of various types, deep learning, fuzzy logic, genetic algorithms or even reinforcement learning have shown capacities for solving problems of planning, robustness to external disturbances insoluble with classical methods, and this, on complex prototypes of robots [26, 27, 28, 29]. The availability and automatic generation of new databases in simulation also allows us to consider, through the use of deep learning, training companion robots to manipulate objects that require precision, speed and reliability. The idea is therefore to use this class of methods, known as soft-computing, to deal with problems of optimizing the trajectories of companion robots when picking up, putting down and manipulating objects such as a cup. The suggested method is the coupling of two large families of methods from soft-computing to solve large-scale problems related to planning and optimization of trajectories. The idea is in particular to combine the “creativity” of genetic and evolutionary algorithms and swarm intelligence [1, 2, 3] with deep learning methods for performing robotic tasks. This coupling showed good performances and seems adaptable for the resolution of concrete problems, initially in simulation. One of the expected results in simulation is the ability to optimize and correct trajectories of companion robot effectors for applications such as picking up, manipulating and depositing an object such as a cup, all with good precision and great reliability. In particular, it seems possible with these bio-inspired methods to make the uncertainty of the system tend towards the smallest displacement that the robot can generate at the level of the effector. The results obtained will be compared with the classic methods of planning, correction and optimization of trajectories.