Ancrage d'un lexique partagé entre robots autonomes dans un environnement non-contraint

Grounding of a shared lexicon between autonomous robots in an unconstrained environment

• Auteur / Autrice : Matthieu Nottale
• Direction : Jean-Gabriel Ganascia
• Type : Thèse de doctorat
• Discipline(s) : Informatique, télecommunication et électronique
• Date : Soutenance en 2008
• Etablissement(s) : Paris 6

Mots clés

Mots clés libres

Robotique développementale

Ancrage de la symbolique

Vision artificielle

Emergence du langage

Résumé

Les Talking Heads sont une expérience de robotique développementale menée par Luc Steels et Frédéric Kaplan en 1995 dans laquelle des agents apprennent un lexique de mots associés à des propriétés visuelles d'objets extraits de leurs perceptions. Cet apprentissage est réalisé par le biais de jeux de langage dans lesquels les agents s'échangent des symboles. Cette expérience apporte un début de réponse au problème de la sémantique des systèmes symboliques. Cette thèse a pour objectif de reproduire les Talking Heads en utilisant des robots autonomes et en se plaçant dans un environnement visuel non contraint. L'intérêt de cette démarche est de confirmer que le modèle des Talking Heads reste valide face à une perception plus complexe, pour pouvoir par la suite tester des modèles cognitifs plus complexes, donnant plus d'autonomie aux robots et qui n'auraient de sens que dans cet environnement suffisamment riche. Nous proposons un premier modèle de perception proche des Talking Heads, utilisant des algorithmes de segmentation d'images. Ce modèle ne permet pas d'aboutir à la convergence des lexiques des agents dans ce cadre. Nous analysons les raisons de son échec, et proposons un second modèle basé sur les récentes avancées dans le domaine de la reconnaissance d'objets, utilisant des algorithmes de détection de points caractéristiques. Ce modèle est testé sur une base de donnée d'images, puis appliqué aux jeux de langage. Les résultats montrent que les agents sont capables d'échanger des symboles représentant des zones de leur environnement, même si le taux de succès des jeux de langage reste encore faible

The Talking Heads is a developmental robotics experiment conducted by Luc Steels and Frederic Kaplan in 1995, at Sony CSL lab. In this experiment, agents acquire a shared grounded lexicon of words associated with visual properties of objects in their environnement through language game interactions. The grounding of symbols in the agent's perception is ensured by the way the interactions are designed, thus providing an answer to the grounding problem formulated by Brooks and others, illustrated by the Chinese room experiment. The Talking Heads are also capable of building a shared lexicon with a population of thousands of agents in an unsupervised way. They implement a model of how a language could emerge in a population of agents capable of communication. This experiment has been extended in multiple areas: the lexicon has been extended with a grammar, and the static environnement has been modified to include scenes with moving objects. Yet the limited environnement is now limiting some interesting extensions of these experiments. The aim of this thesis is to reimplement the Talking Heads using autonomous robots and using an unconstrained environment: our laboratory. This would first show that the Talking Heads models are able to scale to a more complex environment, and allow the development of future experiments with more complex cognitive models giving more autonomy to the agents and that would require this richer environnement. We first focus on the new problems introduced by mobile robots: the detection of an other robot, the problem of positionning a robot, and the problem of pointing a region of the environnement to another robot. We then explore a first model using image segmentation algorithms to stay very close to the original Talking Heads, and show why this model is failing to obtain lexicon convergence between the agents. We finally introduce a second model using the state of the art in the object detection field to build object models based on the detection of recurring patterns in the environnement. We first show that this model can successfully be used for classification tasks on object databases, then apply it to the Talking Heads setup. Our results show that the agents are able to exchange symbols associated with regions of their environnement, although the overall game success rate stays low.