Commande optimale adaptative via apprentissage par renforcement appliquée à un bras manipulateur

Optimal adaptive control of a robotic arm based on reinforcement learning

• Auteur / Autrice : Amine Mebarki
• Direction : Mohamed Zerrougui
• Type : Projet de thèse
• Discipline(s) : Automatique
• Date : Inscription en doctorat le 02/10/2023
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : École Doctorale Mathématiques et Informatique de Marseille (Marseille)
• Partenaire(s) de recherche : Laboratoire : LIS Laboratoire d'Informatique et Systèmes

Mots clés

Mots clés libres

Contrôle optimal

Apprentissage par renforcement

Robotique

Optimal control

Reinforcement learning

Robotics

Résumé

La théorie du contrôle optimal des systèmes dynamiques repose sur la minimisation d'un ensemble de fonctions de coût pour améliorer les performances souhaitées, elle nécessite une connaissance parfaite de la dynamique système. L'application de cette commande sur des systèmes complexes (ex : robotiques) est basée sur la simplification du modèle mathématique, ce qui impacte négativement les performances de la commande. Nous proposons dans cette thèse le développement de commandes adaptatives pilotées par les données et les appliquer dans le domaine de la robotique. Ainsi, l'objectif principal consiste à développer des lois de de commandes optimales adaptatives basée sur l'apprentissage par renforcement pour les systèmes complexes qui présentent des dynamiques non linéaires, incertaines ou sans modèles mathématiques suffisants. Pour ces classes de systèmes, nous souhaitons développer des modèles hybrides en combinant les représentations mathématiques existantes et celles à base de données. Afin d'adapter les méthodes d'apprentissage par renforcement aux systèmes étudiés, nous proposerons des méthodes de sélection des fonctions de récompense garantissant une meilleure performance de la commande et une rapide convergence des algorithmes d'apprentissage. Des validations des résultats obtenus par simulation et expérimentation sur le robot manipulateur à 7 degrés de liberté Franka Emika sont prévues pour montrer l'efficacité des méthodes qui seront proposées. Dans ce cadre, plusieurs cas d'applications seront considérés et cela sous différentes hypothèses de fonctionnement, telles que la commande optimale sous contrainte d'un environnement changeant, la génération et le suivi de trajectoires adaptatif dans l'objectif d'améliorer la précision du robot et garantir la sécurité du système et son entourage.

The theory of optimal control for dynamic systems is based on minimizing a set of cost functions to improve desired performance, requiring a perfect understanding of system dynamics. Applying this control to complex systems (e.g., robotics) relies on simplifying the mathematical model, which negatively impacts control performance. In this thesis, we propose the development of data-driven adaptive controls and their application in robotics. The main objective is to develop optimal adaptive control laws based on reinforcement learning for complex systems with nonlinear, uncertain dynamics or insufficient mathematical models. For these types of systems, we aim to develop hybrid models by combining existing mathematical representations with data-driven approaches. To adapt reinforcement learning methods to the studied systems, we will propose methods for selecting reward functions that ensure better control performance and faster convergence of learning algorithms. Validation of the obtained results through simulation and experimentation on the 7-degree-of-freedom Franka Emika robotic manipulator is planned to demonstrate the effectiveness of the proposed methods. In this context, several application cases will be considered under various operating assumptions, such as optimal control under changing environmental constraints, adaptive trajectory generation and tracking, aiming to enhance robot precision and ensure the safety of the system and its surroundings.