Reconnaissance multimodale de gestes pour la robotique collaborative réactive dans l'industrie du luxe

Multimodal gesture recognition for collaborative robotics in the luxury goods industry

• Auteur / Autrice : Dimitrios Papanagiotou
• Direction : Sotiris Manitsaris
• Type : Projet de thèse
• Discipline(s) : Informatique temps réel, robotique et automatique - Paris
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique
• Partenaire(s) de recherche : Laboratoire : Mathématiques et Systèmes
• Partenaire(s) de recherche : établissement opérateur d'inscription : Mines Paris-PSL

Mots clés

Mots clés libres

La reconnaissance des gestes professionnels

Robots collaboratifs (COBOTS)

Industrie du luxe

Recognition of professional gestures

Collaborative Robots (COBOTS)

Luxury industry

Résumé

Travers cette thèse le sujet de la collaboration réactive entre un opérateur d'une industrie créative et un robot articulé sera étudié. L'objectif est de continuer les recherches déjà initiées par le Centre de Robotique sur l'adaptation spatio-temporelle du robot en fonction du rythme et des aspects anthropomorphiques de l'opérateur, en conceptualisant des modèles mathématiques qui pourront prendre en considération non seulement les aspects cinématiques mais aussi cinétiques. L'ambition étant de proposer un modèle d'IA, en associant à la modélisation dynamique la science des données, qui soit capable d' être entrainé sur des données gestuelles multimodales, la thèse va également explorer la possibilité à que ce modèle soit conçu sous forme d'un contrôleur dynamique pour le robot. En effet ce contrôleur dynamique prendra ses décisions à la base non seulement des capteurs du robot mais aussi du comportement corporel humain. La validation du modèle théorique sera faite sur le scénario du polissage des pièces d'orfèvrerie et/ou de joaillerie.

This thesis will study the subject of reactive collaboration between an operator in a creative industry and an articulated robot. The aim is to continue the research already initiated by the Robotics Centre on the spatio-temporal adaptation of the robot according to the rhythm and anthropomorphic aspects of the operator, by conceptualizing mathematical models that can take into account not only the kinematic but also the kinetic aspects. The ambition is to propose an AI model, combining dynamic modelling with data science, which is capable of being trained on multimodal gestural data. The thesis will also explore the possibility of this model being designed in the form of a dynamic controller for the robot. This dynamic controller will make decisions based not only on the robot's sensors but also on human body behavior. The theoretical model will be validated in the scenario of polishing goldsmiths' and/or jewelers' pieces.