Apprentissage épigénétique de comportements autonomes dans une société d’agents

Epigenetic learning of autonomous behaviours in a society of agents

• Auteur / Autrice : François Suro
• Direction : Fabien Michel, Jacques Ferber
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/09/2020
• Etablissement(s) : Montpellier
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Jury : Président / Présidente : Olivier Simonin
• Jury : Examinateurs / Examinatrices : Fabien Michel, Jacques Ferber, Olivier Simonin, François Charpillet, Tiberiu Stratulat, Risto Miikkulainen, Salima Hassas, Éric Bourreau
• Jury : Rapporteurs / Rapporteuses : François Charpillet

Mots clés

Mots clés contrôlés

Intelligence artificielle

Robots

Épigénétique

Mots clés libres

Épigénétique

Comportements

Apprentissage

Multi-Agents

Learning

Multi-Agent

Epigenetic

Behaviors

Résumé

Les humains et les robots sont des agents autonomes qui agissent dans les limites du monde physique. Cependant, l'intelligence et l'autonomie des humains est bien supérieure à celle des machines. Inspirée de la psychologie et des neurosciences, la robotique développementale vise à donner aux agents artificiels la capacité de s'adapter, d'apprendre et de se développer de manière autonome, afin d'atteindre, voire de surpasser les capacités humaines. De nombreux domaines sont impliqués dans la recherche de meilleures méthodes d'apprentissage sensorimoteur, de systèmes de mémoire, de représentations émergentes de symboles et de langages, de systèmes de motivation, ainsi que le développement de nombreuses stratégies d'apprentissage allant de l'exploration à l'imitation et à l'apprentissage social.Cependant, la majorité de ces recherches se concentrent sur un aspect particulier. Très peu d'entre elles s'attaquent au problème de l'intelligence incarnée dans son ensemble, du développement initial à l'interaction avec d'autres agents intelligents. Il existe donc un réel besoin d'étudier quelles structures sous-jacentes peuvent unifier cette hétérogénéité des buts et des moyens techniques dans un système en perpétuelle évolution.Notre objectif est de fournir une telle structure, capable d'apprendre des compétences sensorimotrices ainsi que des compétences plus complexes allant au-delà du simple comportement réactif. La contribution majeure de cette thèse est une architecture hiérarchique, appelée MIND, utilisant une conception modulaire pour l'apprentissage cumulatif de compétences. Dans MIND, les informations sensorielles et les commandes de coordination entre les compétences sont traitées comme des signaux, en utilisant une approche connexionniste.À partir d'un travail préliminaire sur la spécialisation sociale, nous menons une série d'expériences utilisant MIND pour accumuler des comportements complexes basés sur des comportements sensorimoteurs simples. Nous intégrons ensuite des systèmes de mémoires pour apprendre des comportements sociaux reproduisant notre modèle initial de spécialisation sociale.Nous montrons la capacité de MIND à gérer l'hétérogénéité des comportements à apprendre et des systèmes à coordonner. L'utilisation d'une approche inspirée du connexionnisme, basée sur le signal, comme architecture sous-jacente a permis l'apprentissage à la fois de comportements sensorimoteurs et de décision, ainsi que l'émergence de représentations mémoires.Au-delà des avantages de MIND comme support pour la conception d'agents développementaux, notre travail montre la faisabilité du développement continu et les avantages de l'incarnation dans l'ancrage du comportement émergent, ce qui soutient le point de vue de la robotique développementale comme approche pour une IA généraliste.

Humans and robots are autonomous agents acting within the constraints of the physical world. However, the intelligence and autonomy of humans is far superior to that of machines. Inspired by psychology and neurosciences, developmental robotics aims to give artificial agents the ability to adapt, learn and develop autonomously, in order to reach or even exceed the capabilities of humans. Many research fields are involved in the improvement of sensorimotor skill training, memory systems, emergent representations of symbols and languages, motivational systems, and the development of many learning strategies ranging from exploration to imitation and social learning.However, most of these research projects are focused on a very specific and limited task. Few of them aim to bring together all aspects of embodied intelligence, from the initial development of behaviours to the interactions with other intelligent agents. There is therefore a real need to study which underlying structures can unify this heterogeneity of goals and methods in a perpetually evolving system.Our goal is to provide such a structure, capable of learning sensorimotor skills as well as more complex skills that go beyond simple reactive behaviour. The main contribution of this thesis is a hierarchical architecture using modular properties to achieve cumulative skill learning, namely MIND. In MIND, sensory information and coordination commands between skills are both treated as signals, using a connectionist inspired approach.Starting from preliminary work on social specialization in multi-agent systems, we conduct a series of experiments using a MIND hierarchy to accumulate behaviours, from simple sensorimotor behaviours to social behaviours. We first build complex behaviours based on simple reactive behaviours, then integrate simple memory systems with complex behaviours, and finally use these memory systems to learn social behaviours that replicate our initial model of social specialization.We show that such an architecture is capable of managing the heterogeneity of the behaviours to be learned and the systems to be coordinated. The use of a connectionist approach, a signal-based system, as the underlying architecture made learning both motor control and decision behaviour possible, and also lead to the emergence of memory representations.Beyond the benefits of MIND as a support for designing developmental agents, our work shows the feasibility of continuous development and the advantages of embodiment in grounding the emergent behaviour, which supports developmental robotics as an approach to general purpose AI.