Du capteur à la sémantique : contribution à la modélisation d'environnement pour la robotique autonome en interaction avec l'humain

From sensor to semantics : contribution to environment modelization for autonomous robotics interacting with human

• Auteur / Autrice : Yohan Breux
• Direction : René Zapata
• Type : Thèse de doctorat
• Discipline(s) : Systèmes automatiques et micro-électroniques
• Date : Soutenance le 29/11/2018
• Etablissement(s) : Montpellier
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Jury : Président / Présidente : Pascal Poncelet
• Jury : Examinateurs / Examinatrices : René Zapata, Pascal Poncelet, Olivier Stasse, Pierre Drap, Sébastien Lengagne, Sébastien Druon
• Jury : Rapporteurs / Rapporteuses : Olivier Stasse, Pierre Drap

Mots clés

Mots clés contrôlés

Sémantique

Robotique

Représentation des connaissances

Mots clés libres

Représentation connaissance

Robotique

Semantique

Réseau de neurones convolués

Representation d'environnement

Knowledge representation

Robotic

Semantic

Convolution neural network

Environment representation

Résumé

La robotique autonome est employée avec succès dans des environnements industriels contrôlés, où les instructions suivent des plans d’action prédéterminés.La robotique domestique est le challenge des années à venir et comporte un certain nombre de nouvelles difficultés : il faut passer de l'hypothèse d'un monde fermé borné à un monde ouvert. Un robot ne peut plus compter seulement sur ses données capteurs brutes qui ne font qu'indiquer la présence ou l'absence d'objets. Il lui faut aussi comprendre les relations implicites entre les objets de son environnement ainsi que le sens des tâches qu'on lui assigne. Il devra également pouvoir interagir avec des humains et donc partager leur conceptualisation à travers le langage. En effet, chaque langue est une représentation abstraite et compacte du monde qui relie entre eux une multitude de concepts concrets et purement abstraits. Malheureusement, les observations réelles sont plus complexes que nos représentations sémantiques simplifiées. Elles peuvent donc rentrer en contradiction, prix à payer d'une représentation finie d'un monde ''infini''. Pour répondre à ces difficultés, nous proposons dans cette thèse une architecture globale combinant différentes modalités de représentation d'environnement. Elle permet d'interpréter une représentation physique en la rattachant aux concepts abstraits exprimés en langage naturel. Le système est à double entrée : les données capteurs vont alimenter la modalité de perception tandis que les données textuelles et les interactions avec l'humain seront reliées à la modalité sémantique. La nouveauté de notre approche se situe dans l'introduction d'une modalité intermédiaire basée sur la notion d'instance (réalisation physique de concepts sémantiques). Cela permet notamment de connecter indirectement et sans contradiction les données perceptuelles aux connaissances en langage naturel.Nous présentons dans ce cadre une méthode originale de création d'ontologie orientée vers la description d'objets physiques. Du côté de la perception, nous analysons certaines propriétés des descripteurs image génériques extraits de couches intermédiaires de réseaux de neurones convolués. En particulier, nous montrons leur adéquation à la représentation d'instances ainsi que leur usage dans l'estimation de transformation de similarité. Nous proposons aussi une méthode de rattachement d'instance à une ontologie, alternative aux méthodes de classification classique dans l'hypothèse d'un monde ouvert. Enfin nous illustrons le fonctionnement global de notre modèle par la description de nos processus de gestion de requête utilisateur.

Autonomous robotics is successfully used in controled industrial environments where instructions follow predetermined implementation plans.Domestic robotics is the challenge of years to come and involve several new problematics : we have to move from a closed bounded world to an open one. A robot can no longer only rely on its raw sensor data as they merely show the absence or presence of things. It should also understand why objects are in its environment as well as the meaning of its tasks. Besides, it has to interact with human beings and therefore has to share their conceptualization through natural language. Indeed, each language is in its own an abstract and compact representation of the world which links up variety of concrete and abstract concepts. However, real observations are more complex than our simplified semantical representation. Thus they can come into conflict : this is the price for a finite representation of an ''infinite'' world.To address those challenges, we propose in this thesis a global architecture bringing together different modalities of environment representation. It allows to relate a physical representation to abstract concepts expressed in natural language. The inputs of our system are two-fold : sensor data feed the perception modality whereas textual information and human interaction are linked to the semantic modality. The novelty of our approach is in the introduction of an intermediate modality based on instances (physical realization of semantic concepts). Among other things, it allows to connect indirectly and without contradiction perceptual data to knowledge in natural langage.We propose in this context an original method to automatically generate an ontology for the description of physical objects. On the perception side, we investigate some properties of image descriptor extracted from intermediate layers of convolutional neural networks. In particular, we show their relevance for instance representation as well as their use for estimation of similarity transformation. We also propose a method to relate instances to our object-oriented ontology which, in the assumption of an open world, can be seen as an alternative to classical classification methods. Finally, the global flow of our system is illustrated through the description of user request management processes.