Asservissement visuel direct de robots par lissage de la fonction du coût. Application aux scènes rigides et déformables.

Direct visual servoing of robots by cost function smoothing. Application to rigid and deformable scenes.

• Auteur / Autrice : Amneh Nasir
• Direction : Guillaume Caron, Djemaa Kachi
• Type : Projet de thèse
• Discipline(s) : Sciences pour l'Ingénieur Vision par Ordinateur-25DSI9
• Date : Inscription en doctorat le 24/09/2024
• Etablissement(s) : Amiens
• Ecole(s) doctorale(s) : Sciences, Technologie, Santé
• Partenaire(s) de recherche : Laboratoire : MIS - Unité de recherche Modélisation, Information et Systèmes

Mots clés

Mots clés libres

Information visuelle

Vision

Optimisation

Asservissement visuel

Robotique

Domaine de convergence

Optimization

Visual servoing

Visual information

Vision

Convergence domain

Robotics

Résumé

Depuis dix ans, le laboratoire MIS de l'UPJV à Amiens, est fer de lance des asservissements visuels directs de robots ayant de grands domaines de convergence. Il s'agit de la commande automatique de robot basée vision embarquée utilisant directement les intensités de pixels des images acquises en entrée de la loi de commande. Le positionnement du robot est précis tout en étant frugal en données : seule l'image définissant la pose désirée du robot est connue. Le laboratoire MIS a proposé des transformations d'images qui améliorent notablement la convergence globale des asservissements directs. En parallèle, des méthodes issues des mathématiques appliquées au recalage direct d'images ont formalisé le problème par un lissage de la fonction du cout. Cependant, cette approche est restée au stade des transformations dans le plan image, ce qui est insuffisant pour l'asservissement visuel des robots évoluant dans l'espace. Cette thèse proposera une unification de ces deux grandes familles d'approches pour à la fois démontrer que les transformées d'images proposées pour l'asservissement visuel direct sont des solutions au lissage du coût direct, et augmenter le nombre de degrés de liberté des méthodes de recalage direct d'images pour l'asservissement visuel de robot, du plan image à l'espace, et vers des scènes non rigides. Cette thèse fera l'objet d'une collaboration avec l'unité de recherche internationale Franco-japonaise (CNRS-AIST Joint Robotics Laboratory, JRL), localisée à Tsukuba et co-dirigée par un membre de l'équipe Perception Robotique du MIS. Ces méthodes seront développées et évaluées d'abord sur bras robotique au sein de scènes rigides en France et ensuite sur robot humanoïde au Japon pour l'interaction avec l'humain.

For the past ten years, the MIS laboratory at the UPJV in Amiens has been spearheading direct visual servoing of robots with large convergence domains. This involves automatic robot control based on embedded vision, directly using the pixel intensities of the images acquired as input to the control law. Robot positioning is both precise and data-efficient: only the image defining the desired robot pose is known. The MIS laboratory has proposed image transformations that significantly improve the overall convergence of direct servo-controls. In parallel, mathematical methods applied to direct image registration have formalized the problem by smoothing the cost function. However, this approach remains limited to transformations in the image plane, which is insufficient for visual servoing of robots moving in space. This thesis will propose a unification of these two main families of approaches to both demonstrate that the image transforms proposed for direct visual servoing are solutions to direct cost smoothing, and increase the number of degrees of freedom of direct image registration methods for robot visual servoing, from the image plane to space, and towards non-rigid scenes. This thesis will be carried out in collaboration with the international Franco-Japanese research unit (CNRS-AIST Joint Robotics Laboratory, JRL), based in Tsukuba and co-directed by a member of the MIS Perception Robotics team. These methods will be developed and evaluated first on robotic arms within rigid scenes in France and then on humanoid robots in Japan for interaction with humans.