Exploration de stratégies de commande visuelle prédictive pour le contrôle des mouvements d'un manipulateur mobile

Visual predictive strategies to control a mobile manipulator

• Auteur / Autrice : Hugo Bildstein
• Direction : Viviane Cadenat, Adrien Durand Petiteville
• Type : Thèse de doctorat
• Discipline(s) : Robotique et Informatique
• Date : Soutenance le 16/07/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Analyse et d'Architecture des Systèmes (Toulouse ; 1968-....)
• Partenaire(s) de recherche : Etablissement de délivrance conjointe : Université Toulouse 3 Paul Sabatier (1969-2024)
• Jury : Président / Présidente : Patrick Danès
• Jury : Examinateurs / Examinatrices : Olivier Kermorgant
• Jury : Rapporteurs / Rapporteuses : François Chaumette, Guillaume Allibert

Mots clés

Mots clés contrôlés

Vidéomatique

Robots mobiles

Commande prédictive

Mots clés libres

Asservissement visuel prédictif

Asservissement visuel

Commande prédictive

Robotique

Visual predictive control

Model predictive control

Visual sevoing

Robotics

Résumé

L'évolution de la robotique et les défis auxquels elle est confrontée ces dernières années nécessitent le développement de systèmes robotisés mobiles capables d'exécuter de manière autonome des tâches complexes dans des environnements variés. Dans cette perspective, les manipulateurs mobiles jouent un rôle crucial. De plus, les stratégies de commande réactives sont pertinentes pour s'adapter à des événements imprévus et ajuster les mouvements du robot en conséquence. Enfin, grâce à la richesse du signal vidéo, la vision est désormais considérée comme un capteur privilégié en robotique. L'asservissement visuel prédictif, combinant les techniques de commande prédictive et d'asservissement visuel, apparaît alors comme une approche intéressante pour coordonner les mouvements d'un manipulateur mobile tout en tenant compte d'un ensemble de contraintes. À chaque itération, un problème de commande optimale adapté aux données du capteur est résolu pour commander le robot. Le défi de cette thèse est de formuler le problème et de porter à la validation expérimentale une stratégie d'asservissement visuel prédictif pour un manipulateur mobile sur l'un des robots de notre équipe. Pour cela, plusieurs aspects ont été abordés : La bonne définition du problème de contrôle optimal. La tâche doit être définie au plus près de l'image, c'est-à-dire des données capteurs, afin de se prémunir contre d'éventuelles erreurs de reconstruction 3D, souvent à l'origine d'un mauvais positionnement du robot. Un choix judicieux d'indices visuels permettant un positionnement précis, définissant une forme d'espace de recherche intéressant pour la résolution numérique du problème d'optimisation, et facilitant la sélection des mouvements du robot. L'ajout d'une tâche secondaire pour obtenir des mouvements robustes, c'est-à-dire des configurations éloignées des singularités et proches des mouvements humains. Des enjeux d'équilibrage des tâches ont été étudiés et résolus notamment grâce à des contraintes variables dans le temps. La garantie de stabilité du schéma de contrôle dans des conditions réalistes de sous-optimalité de la résolution dues aux problématiques de temps-réel tout en considérant de grands déplacements à travers une modélisation de contraintes complexes. Les enjeux d'une stratégie de contrôle multi-caméra pour offrir au robot la plus grande liberté de mouvement tout en permettant l'utilisation d'informations précises lors de tâches méticuleuses. Un choix de méthode de projection permettant cette intégration a été réalisé. Le processus d'optimisation et son implémentation : un soin tout particulier a été porté sur la méthode de calcul de gradient. En effet, la résolution de problèmes d'optimisation hautement non-linéaires est généralement basée sur des méthodes de descente de gradients. Lorsqu'un calcul analytique n'est pas possible, un calcul symbolique est nécessaire pour éviter le coût de calcul que représente la méthode des différences finies. Ce point est essentiel pour permettre une définition de problème de commande optimal avec un horizon de prédiction suffisamment grand et une résolution respectant les contraintes de temps réel.

The evolution of robotics and the challenges it has faced in recent years require the development of mobile robotic systems capable of autonomously executing complex tasks in various environments. In this regard, mobile manipulators play a crucial role. Additionally, reactive control strategies are relevant for adapting to unforeseen events and adjusting robot movements accordingly. Furthermore, due to the richness of video signals, vision is now considered a privileged sensor in robotics. Visual predictive control, combining predictive control techniques and visual servoing, emerges as an interesting approach to coordinate the movements of a mobile manipulator while considering a set of constraints. At each iteration, an optimal control problem tailored to sensor data is solved to command the robot. The challenge of this thesis is to formulate the problem and experimentally validate a visual predictive control strategy for a mobile manipulator on one of our team's robots. For this purpose, several aspects have been addressed: The proper definition of the optimal control problem. The task should be defined as close to the image, i.e., sensor data, to avoid potential errors in 3D reconstruction, which often lead to poor robot positioning. A judicious choice of visual features allowing precise positioning, defining an interesting search space for numerical optimization problem resolution, and facilitating robot motion selection. The addition of a secondary task to obtain robust movements, i.e., configurations away from singularities and close to human-like movements. Task balancing issues were studied and resolved, notably through time-varying constraints. Ensuring control scheme stability under realistic conditions of resolution sub-optimality due to real-time constraints while considering large displacements through modeling of complex constraints. The challenges of a multi-camera control strategy to offer the robot the greatest freedom of movement while allowing the use of precise information during meticulous tasks. A method of projection enabling this integration has been chosen. The optimization process and its implementation: particular attention was paid to the gradient computation method. Indeed, solving highly nonlinear optimization problems is generally based on gradient descent methods. When analytical computation is not possible, symbolic computation is necessary to avoid the computational cost associated with finite difference methods. This point is essential to enable the definition of an optimal control problem with a sufficiently large prediction horizon and resolution respecting real-time constraints.