Fusion de données hétérogènes pour la perception de l'homme par robot mobile

Heterogeneous data fusion for human perception from a mobile robot

• Auteur / Autrice : Thierry Germa
• Direction : Frédéric Lerasle
• Type : Thèse de doctorat
• Discipline(s) : Systèmes informatiques critiques, systèmes embarqués
• Date : Soutenance en 2010
• Etablissement(s) : Toulouse 3

Mots clés

Mots clés contrôlés

Systèmes d'identification par radiofréquence

Fusion multicapteurs

Robots industriels

Mots clés libres

Fusion de données

Filtrage particulaire

Rfid

Identification de visages

Suivi multi-cibles

Rj-mcmc

Résumé

Ces travaux de thèse s'inscrivent dans le cadre du projet européen CommRob impliquant des partenaires académiques et industriels. Le but du projet est la conception d'un robot compagnon évoluant en milieu structuré, dynamique et fortement encombré par la présence d'autres agents partageant l'espace (autres robots, humains). Dans ce cadre, notre contribution porte plus spécifiquement sur la perception multimodale des usagers du robot (utilisateur et passants). La perception multimodale porte sur le développement et l'intégration de fonctions perceptuelles pour la détection, l'identification de personnes et l'analyse spatio-temporelle de leurs déplacements afin de communiquer avec le robot. La détection proximale des usagers du robot s'appuie sur une perception multimodale couplant des données hétérogènes issues de différents capteurs. Les humains détectés puis reconnus sont alors suivis dans le flot vidéo délivré par une caméra embarquée afin d'en interpréter leurs déplacements. Une première contribution réside dans la mise en place de fonctions de détection et d'identification de personnes depuis un robot mobile. Une deuxième contribution concerne l'analyse spatio-temporelle de ces percepts pour le suivi de l'utilisateur dans un premier temps, de l'ensemble des personnes situées aux alentours du robot dans un deuxième temps. Enfin, dans le sens des exigences de la robotique, la thèse comporte deux volets : un volet formel et algorithmique qui tire pertinence et validation d'un fort volet expérimental et intégratif. Ces développements s'appuient sur notre plateforme Rackham et celle mise en œuvre durant le projet CommRob.

This work has been realized under the CommRob European project involving several academic and industrial partners. The goal of this project is to build a robot companion able to act in structured and dynamic environments cluttered by other agents (robots and humans). In this context, our contribution is related to multimodal perception of humans from the robot (users and passers-by). The multimodal perception induces the development and integration of perceptual functions able to detect, to identify the people and to track the motions in order to communicate with the robot. Proximal detection of the robot's users uses a multimodal perception framework based on heterogeneous data fusion from different sensors. The detected and identified users are then tracked in the video stream extracted from the embedded camera in order to interpret the human motions. The first contribution is related to the definition of perceptual functions for detecting and identifying humans from a mobile robot. The second contribution concerns the spatio-temporal analysis of these percepts for user tracking. Then, this work is extended to multi-target tracking dedicated to the passers by. Finally, as it is frequently done in robotics, our work contains two main topics: on one hand the approaches are formalized; on the other hand, these approaches are integrated and validated through live experiments. All the developments done during this thesis has been integrated on our platform Rackham and on the CommRob platform too.