Vers des algorithmes de commande et d'estimation robustes associant modèles dynamiques incertains et apprentissage par renforcement

Toward robust estimation and control algorithms hybridizing uncertain dynamic models and reinforcement learning

• Auteur / Autrice : Josué Nkaya-nkaya
• Direction : Christophe Combastel, Jérôme Cieslak
• Type : Projet de thèse
• Discipline(s) : Automatique, Productique, Signal et Image, Ingénierie cognitique
• Date : Inscription en doctorat le 05/10/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'Intégration du Matériau au Système
• Partenaire(s) de recherche : Equipe de recherche : Approche Robuste et Intégrée de l'Automatique (ARIA)

Mots clés

Mots clés libres

Apprentissage par renforcement

Systemes hybrides

Modèles dynamiques incertains

Estimateurs robustes

Algorithmes de commande

Reinforcement learning

Hybrid systems

Dynamic models

Robust estimation

Control algorithms

Résumé

Ce travail de thèse vise à développer une méthodologie et des algorithmes pour vérifier de manière robuste des propriétés de sécurité/sûreté dans des boucles de perception et de commande intégrant de l'apprentissage par renforcement. Cet apprentissage aura pour objectif d'améliorer les performances dynamiques dans des environnements changeants et mal connus, en prenant comme référence des techniques robustes/ensemblistes à base de modèles incertains de l'Automatique. Une mise en œuvre conjointe et aussi intégrée que possible (hybridation) d'approches dites « à base de modèle » et « sans modèle » sera étudiée, tout en veillant à préserver la possibilité de vérifier des propriétés de sécurité/sûreté utiles en vue de certifications. Il s'agira notamment de proposer des architectures de perception et de commande reposant sur une complémentarité entre i) et ii) : i) Modélisation dynamique incertaine et synthèse robuste/résiliente à différents types de perturbations et anomalies (défauts, attaques), afin de garantir la couverture de tests de conformité à des objectifs de performance donnés (ex : stabilité, précision, consommation). ii) L'intégration de méthodes d'apprentissage basées sur des jeux de données, d'abord exploités hors ligne, avant une vérification de propriétés (notamment celles liées à la robustesse) des algorithmes ensuite implémentés en ligne.

This PhD thesis aims at developing methods and algorithms for robustly verifying properties in perception and control loops incorporating/integrating reinforcement learning. This learning will aim at improving dynamic performances in changing and poorly known environments, taking control systems model-based robust and/or set membership techniques as baseline. A close integration (hybridization) of so-called ''model-based'' and ''model-free'' approaches will be studied, while taking special care to maintain the ability to verify safety/security properties as required for certification purposes. In this context, a particular attention will be paid on proposing perception and control architectures relying on the complementarity between i) and ii) : i) Uncertain dynamic modelling and robust/resilient design to different types of disturbances and anomalies (faults, attacks), in order to guarantee the satisfaction of given performance objectives (e.g. stability, accuracy, safety) with best coverage. ii) Integration of learning technics based on training data sets first exploited off-line, before a verification of algorithms properties (notably those related to robustness) with on-line perspectives.