Approche développementale de la perception pour un robot humanoïde

Developmental approach of perception for a humanoid robot

• Auteur / Autrice : Natalia Lyubova
• Direction : David Filliat
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2013
• Etablissement(s) : Palaiseau, Ecole polytechnique

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Formation en ligne

Mots clés libres

Détection d'objets

Robotique développementale

Apprentissage intéractif

Apprentissage incrémental

Robotique cognitive

Résumé

Les robots de service ou d'assistance doivent évoluer dans un environnent humain en constant changement, souvent imprévisible. Ils doivent donc être capables de s'adapter à ces changements, idéalement de manière autonome, afin de ne pas dépendre de la présence constante d'une supervision. Une telle adaptation en environnements non structurés nécessite notamment une détection et un apprentissage continu des nouveaux objets présents, que l'on peut imaginer inspirés des enfants, basés sur l'interaction avec leur parents et la manipulation motivée par la curiosité. Notre travail vise donc à concevoir une approche développementale permettant à un robot humanoïde de percevoir son environnement. Nous nous inspirons à la fois de la perception humaine en termes de fonctionnalités et du développements cognitifs observé chez les infants. Nous proposons une approche qui permet à un robot humanoïde d'ex- plorer son environnement de manière progressive, comme un enfant, grâce à des interactions physiques et sociales. Suivant les principes de la robotique développementale, nous nous concentrons sur l'apprentissage progressif, continu et autonome qui ne nécessite pas de connaissances a priori des objets. Notre système de perception débute par la segmentation de l'espace visuel en proto-objets, qui serviront d'unités d'attention. Chaque proto-objet est représenté par des carac- téristiques bas-niveaux (la couleur et la texture) et sont eux-mêmes intégrés au sein de caractéristiques de plus haut niveau pour ensuite former un modèle multi-vues. Cet apprentissage s'effectue de manière incrémentale et chaque proto-objet est associé à une ou plusieurs entités physiques distinctes. Les entités physiques sont ensuite classés en trois catégories : parties du robot, parties des humains et objets. La caractérisation est basée sur l'analyse de mouvements des entités physiques provenant de la vision ainsi que sur l'information mutuelle entre la vison et proprioception. Une fois que le robot est capable de catégoriser les entités, il se concentre sur l'interaction active avec les objets permettant ainsi d'acquérir de nouvelles informations sur leur apparence qui sont intégrés dans leurs modèles de représen- tation. Ainsi, l'interaction améliore les connaissances sur les objets et augmente la quantité d'information dans leurs modèles. Notre système de perception actif est évalué avec le robot humanoïde iCub en utilisant une base expérimentale de 20 objets. Le robot apprend par interaction avec un partenaire humain ainsi que par ses propres actions sur les objets. Notre système est capable de créer de manière non supervisée des modèles cohérents des différentes entités et d'améliorer les modèles des objets par apprentissage interactif et au final de reconnaître des objets avec 88. 5% de réussite.

Future service robots will need the ability to work in unpredicted human environments. These robots should be able to learn autonomously without constant supervision in order to adapt to the environment, different users, and changing circumstances. Exploration of unstructured environments requires continuous detection of new objects and learning about them, ideally like a child, through curiosity-driven interactive exploration. Our research work is aimed to design a developmental approach that enables a humanoid robot to perceive its close environment. We take inspiration from human perception in terms of its functionalities and from infant development in terms of the way of learning, and we propose an approach that enables a humanoid robot to explore its environment pro- gressively, like a child through physical actions and social interaction. Following principles of developmental robotics, we focus on incremental, continuous, and autonomous learning that does not require a prior knowledge about the environment or the robot. The perceptual system starts from segmentation of the visual space into proto-objects as units of attention. The appearance of each proto-object is characterized by low-level features based on color and texture that are considered as complementary features. These low-level features are integrated into more complex features and then, into a multi-view model that is learned incrementally and associated with one physical entity. Entities are then classified into three categories : parts of the robot's body, human parts, and manipulable objects. The categorization approach is based on mutual information between the sensory data and proprioception, and also on motion behavior of physical entities. Once the robot is able to categorize entities, it focuses on interactive object exploration. During interaction, the information acquired about an object's appearance is integrated into its model. Thus, interactive learning enhances the knowledge about objects appearances and improves the informativeness of objects models. The implemented active perceptual system is evaluated on an iCub humanoid robot, learning 20 objects through interaction with a human partner and the robot's own actions. Our system is able to recognize objects with 88. 5% success and to create coherent representation models that are further improved by interactive learning.