Apprentissage permanent par feedback endogène, application à un système robotique

Lifelong learning by endogenous feedback, application to a robotic system

• Auteur / Autrice : Bruno Dato
• Direction : Marie-Pierre Gleizes, Frédéric Migeon
• Type : Thèse de doctorat
• Discipline(s) : Informatique et télécommunications
• Date : Soutenance le 09/07/2021
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Stéphane Doncieux
• Jury : Examinateurs / Examinatrices : Marie-Pierre Gleizes, Frédéric Migeon
• Jury : Rapporteur / Rapporteuse : Olivier Simonin, Laurent Vercouter

Mots clés

Mots clés contrôlés

Rétroaction (psychologie)

Systèmes auto-organisés

Intelligence artificielle répartie

Mots clés libres

Systèmes multi-agents

Apprentissage par feedback endogène

Apprentissage permanent

Cinématique inverse

Robotique

Multi-agents systems

Learning by endogenous feedback

Lifelong learning

Inverse kinematics

Robotics

Résumé

Les applications robotiques sont liées à l'environnement sociotechnique dynamique dans lequel elles sont intégrées. Dans ce contexte, l'auto-adaptation est une préoccupation centrale et la conception d'applications intelligentes dans de tels environnements nécessite de les considérer comme des systèmes complexes. Le domaine de la robotique est très vaste. L'accent est mis sur les systèmes qui s'adaptent aux contraintes de leur environnement et non sur la mécanique ou le traitement du signal. À la lumière de ce contexte, l'objectif de cette thèse est la conception d'un mécanisme d'apprentissage capable d'apprendre de manière continue en utilisant des feedbacks endogènes (i.e. des interactions internes) dans des environnements sociotechniques dynamiques. Ce mécanisme d'apprentissage doit aussi vérifier plusieurs propriétés qui sont essentielles dans ce contexte comme : l'agnosticité, l'apprentissage tout au long de la vie, l'apprentissage en ligne, l'auto-observation, la généralisation des connaissances, le passage à l'échelle, la tolérance au volume de données et l'explicabilité. Les principales contributions consistent en la construction de l'apprentissage endogène par contextes et la conception du mécanisme d'apprentissage ELLSA pour Endogenous Lifelong Learner by Self-Adaptation. Le mécanisme d'apprentissage proposé est basé sur les systèmes multi-agents adaptatifs combinés à l'apprentissage endogène par contextes. La création de l'apprentissage endogène par contextes est motivée par la caractérisation d'imprécisions d'apprentissage qui sont détectées par des négociations locales entre agents. L'apprentissage endogène par contextes comprends aussi un mécanisme de génération de données artificielles pour améliorer les modèles d'apprentissage tout en réduisant la quantité nécessaire de données d'apprentissage. Dans un contexte d'apprentissage tout au long de la vie, ELLSA permet une mise à jour dynamique des modèles d'apprentissage. Il introduit des stratégies d'apprentissage actif et d'auto-apprentissage pour résoudre les imprécisions d'apprentissage. L'utilisation de ces stratégies dépend de la disponibilité des données d'apprentissage. Afin d'évaluer ses contributions, ce mécanisme est appliqué à l'apprentissage de fonctions mathématiques et à un problème réel dans le domaine de la robotique : le problème de la cinématique inverse. Le scénario d'application est l'apprentissage du contrôle de bras robotiques multi-articulés. Les expériences menées montrent que l'apprentissage endogène par contextes permet d'améliorer les performances d'apprentissage grâce à des mécanismes internes. Elles mettent aussi en évidence des propriétés du système selon les objectifs de la thèse : feedback endogènes, agnosticité, apprentissage tout au long de la vie, apprentissage en ligne, auto-observation, généralisation, passage à l'échelle, tolérance au volume de données et explicabilité.

Robotic applications are linked to the dynamic sociotechnical environment in which they are embedded. In this scope, self-adaptation is a central concern and the design of intelligent applications in such environments requires to consider them as complex systems. The field of robotics is very broad. The focus is made on systems that adapt to the constraints of their environment and not on mechanics or signal processing. In light of this context, the objective of this thesis is the design of a learning mechanism capable of continuous learning using endogenous feedback (i.e. internal interactions) in dynamic sociotechnical environments. This learning mechanism must also verify several properties that are essential in this context such as: agnosticity, lifelong learning, online learning, self-observation, knowledge generalization, scalability, data volume tolerance and explainability. The main contributions consist of the construction of Endogenous Context Learning and the design of the learning mechanism ELLSA for Endogenous Lifelong Learner by Self-Adaptation. The proposed learning mechanism is based on Adaptive Multi-Agent Systems combined with Context Learning. The creation of Endogenous Context Learning is motivated by the characterization of learning inaccuracies that are detected by local negotiations between agents. Endogenous Context Learning also includes an artificial data generation mechanism to improve learning models while reducing the amount of the required learning data. In a Lifelong Learning setting, ELLSA enables dynamic updating of learning models. It introduces Active Learning and Self-Learning strategies to resolve learning inaccuracies. The use of these strategies depends on the availability of learning data. In order to evaluate its contributions, this mechanism is applied to the learning of mathematical functions and to a real problem in the field of robotics: the Inverse Kinematics problem. The application scenario is the learning of the control of multi-jointed robotic arms. The conducted experiments show that Endogenous Context Learning enables to improve the learning performances thanks to internal mechanisms. They also highlight the properties of the system according to the objectives of the thesis: endogenous feedback, agnosticity, lifelong learning, online learning, self-observation, knowledge generalization, scalability, data volume tolerance and explainability.