Constructivist cognitive architecture : a model for designing self-motivated agent capable of sense-making and knowledge construction of the environment

Architecture cognitive constructiviste : un modèle pour concevoir un agent automotivé capable de faire du sens et de construire des connaissances de l'environnement

• Auteur / Autrice : Jianyong Xue
• Direction : Salima Hassas, Olivier Georgeon
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/11/2020
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale en Informatique et Mathématiques de Lyon (Lyon ; 2009-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Claude Bernard (Lyon ; 1971-....)
• Partenaire(s) de recherche : Laboratoire : LIRIS - Laboratoire d'Informatique en Image et Systèmes d'information (Rhône ; 2003-....)
• Jury : Président / Présidente : Parisa Shariat Ghodous
• Jury : Examinateurs / Examinatrices : Salima Hassas, Olivier Georgeon, Frédéric Alexandre, Pierre de Loor, Lisa Meeden, James Marshall
• Jury : Rapporteurs / Rapporteuses : Frédéric Alexandre, Pierre de Loor

Mots clés

Mots clés contrôlés

Énaction

Apprentissage automatique

Constructivisme (psychologie)

Nourrissons

Mots clés libres

Construction de connaissances

Apprentissage constructiviste

Apprentissage séquentiel hiérarchique

Agent motivé

Développement cognitif

Auto-adaptation

Capacité de flexibilité

Knowledge construction

Constructivist learning

Hierarchical sequential learning

Cognitive development

Self-adaptation

Capability of flexibility

Self-motivated agent

Résumé

Les nourrissons sont excellents pour interagir avec l’environnement. Surtout dans la phase initiale du développement cognitif, ils présentent des capacités étonnantes à générer de nouveaux comportements dans des situations inconnues et à explorer activement pour apprendre le meilleur tout en manquant de récompenses extrinsèques de l’environnement. Ces capacités de création de sens et de construction de connaissances de l’environnement les distinguent même des robots autonomes les plus avancés. Pour la plupart des agents artificiels (et des robots), l’acquisition de telles capacités est écrasante. Dans la plupart des approches traditionnelles d’intelligence artificielle (IA), l’apprentissage est généralement insuffisant, avec divers biais et manque de flexibilité. Chercher des moyens d’expliquer le mécanisme d’apprentissage derrière le développement cognitif précoce des nourrissons et essayer de reproduire certaines de ces capacités que les bébés ont pour un agent autonome sont devenus un point focal des efforts récents en robotique et en recherche sur l’IA. Dans cette thèse, je propose un modèle informatique de l’architecture cognitive constructiviste (CCA) comme moyen de simuler le mécanisme d’apprentissage précoce du développement cognitif des nourrissons basé sur les théories de la cognition énactive, de la motivation intrinsèque et de l’épistémologie constructiviste. Pendant ce temps, le CCA permet à un agent motivé de construire de manière autonome la perception de l’environnement et d’acquérir des capacités d’auto-adaptation et de flexibilité pour générer des comportements appropriés pour faire face à diverses situations en interagissant avec l’environnement. De plus, je propose un modèle d’apprentissage séquentiel ascendant hiErarchique basé sur le CCA, également appelé BEL-CA, comme solution pour un agent autonome apprenant des séquences hiérarchiques de comportements et acquérant des capacités d’auto-adaptation et de flexibilité. L’agent représente sa situation actuelle en termes d’affordances perçues qui se développent à travers l’expérience de l’agent. Cette représentation situationnelle fonctionne comme une prise de conscience de situation émergente qui est ancrée dans l’interaction de l’agent avec son environnement et qui à son tour génère des attentes et active des comportements adaptés. Par son activité et ces aspects du comportement (propension comportementale, conscience de situation et apprentissage séquentiel hiérarchique), l’agent commence à faire preuve d’une sensibilité émergente, d’une motivation intrinsèque et d’un apprentissage autonome. De plus, j’introduis une implémentation d’une boîte à outils pour analyser le processus d’apprentissage au moment de l’exécution, qui s’appelle GAIT (Generating and Analyzing Interaction Traces Toolkit). J’utilise GAIT pour rendre compte et expliquer le processus d’apprentissage détaillé et les comportements structurés que l’agent a appris à chaque étape de prise de décision. Je rapporte une expérience dans laquelle l’agent a appris à interagir avec succès avec son environnement et à éviter les interactions défavorables en utilisant des régularités découvertes par interaction

Infants are excellent at interacting with the environment. Especially in the initial phase of cognitive development, they exhibit amazing abilities to generate novel behaviors in unfamiliar situations, and explore actively to learn the best while lacking extrinsic rewards from the environment. These abilities of sense-making and knowledge construction of the environment set them apart from even the most advanced autonomous robots. For most artificial agents (and robots), acquiring such abilities is overwhelming. In most traditional Artificial Intelligence (AI) approaches, learning is usually insufficient, with various biases, and lacks of flexibility. Seeking ways to explain the learning mechanism behind infants’ early cognitive development and try to replicate some of these abilities that babies have for an autonomous agent have become a focal point of recent efforts in robotics and AI research. In this dissertation, I propose a computational model of Constructivist Cognitive Architecture (CCA) as a way towards simulating the early learning mechanism of infants’ cognitive development based on theories of enactive cognition, intrinsic motivation, and constructivist epistemology. Meanwhile, the CCA allows a self-motivated agent to autonomously construct the perception of the environment and acquire capabilities of self-adaption and flexibility to generate proper behaviors to tackle with diverse situations in interacting with the environment. In contrast with traditional cognitive architectures, the introduced model neither initially endows the agent with prior knowledge of its environment, nor supplies it with knowledge during its learning process. Accordingly, I am not proposing an algorithm that optimizes exploration of a predefined problem-space to reach predefined goal states. Instead, I propose a way for the agent to autonomously encode the interaction experiences and reuse behavioral patterns based on the agent’s self-motivation implemented as inborn proclivities that drive the agent in a proactive way. In addition, I present two forms of self-motivation: successfully enacting sequences of interactions (or called autotelic motivation), and preferably enacting interactions that have predefined positive values (or called interactional motivation). Following these drives, the agent autonomously learns regularities afforded by the environment, and constructs causal perception of phenomena whose hypothetical presence in the environment explains these regularities. Furthermore, I propose a Bottom-up hiErarchical sequential Learning model based on the CCA, which is also called BEL-CA, as a solution for an autonomous agent learning hierarchical sequences of behaviors and acquiring capabilities of self-adaptation and flexibility. The agent represents its current situation in terms of perceived affordances that develop through the agent’s experience. This situational representation works as an emerging situation awareness that is grounded in the agent’s interaction with its environment and that in turn generates expectations and activates adapted behaviors. Through its activity and these aspects of behavior (behavioral proclivity, situation awareness, and hierarchical sequential learning), the agent starts to exhibit emergent sensibility, intrinsic motivation, and autonomous learning. Moreover, I introduce an implementation of a toolkit to analyze the learning process at run time, which is called GAIT (Generating and Analyzing Interaction Traces Toolkit). I use GAIT to report and explain the detailed learning process and the structured behaviors that the agent has learned on each decision making step. I report an experiment in which the agent learned to successfully interact with its environment and to avoid unfavorable interactions using regularities discovered through interaction