Dynamic vision theory and applications to mobile robotics

• Auteur / Autrice : Cédric Meyer
• Direction : Ryad Benosman
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance en 2013
• Etablissement(s) : Paris 6

Mots clés

Mots clés contrôlés

Algorithmes bio-inspirés (intelligence artificielle)

Vision artificielle (robotique)

Robots mobiles

Résumé

La reconnaissance d'objet est un grand défi à résoudre pour améliorer l'autonomie des robots. Bien que de nombreuses techniques aient été développées dans le domaine de la vision basée image, aucune d'entre elle ne tient la comparaison face à la perception humaine en termes de performance, de poids et de consommation. Le domaine de l'ingénierie neuromorphique où l'on cherche à reproduire sur puce le comportement d'organes humains, a récemment permis l'émergence de caméras asynchrones bio-inspirées. Les données générées par ces capteurs sont éparses, et asynchrones, ce qui permet le développement d'une vision artificielle adaptée à la scène visuelle en terme de coûts de calculs. Dans cette thèse est étudié l'impact de la prise en compte de temps relatifs précis, rendue possible par l'acquisition évènementielle sur la reconnaissance d'objet. Dans ce travail est d'abord introduit un système de reconnaissance d'objet basé sur des images implémenté sur un robot mobile visant à réaliser une cartographie sémantique. Ensuite sont quantitativement décrits les avantages d'une acquisition évènementielle gr\^ace à l'utilisation de l'information mutuelle. Des primitives visuelles de bas niveau correspondant à la description spatio-temporelle d'une scène dynamique sont ensuite décrites puis une implémentation en temps réel d'un algorithme de suivi de primitive est proposée pour des noyaux de Gabor orientés et de manière générale pour n'importe quel noyau. Finalement, une architecture complètement asynchrone de reconnaissance qui tire pleinement partie de l'information temporelle est présentée, cette méthode étant une extension du modèle HMAX qui s'inspire du cortex visuel des primates

The recognition of objects is a key challenge in increasing the autonomy of robots and their performances. Although many techniques of object recognition have been developed in the field of frame-based vision, none of them hold the comparison against human perception in terms of performance, weight and power consumption. Neuromorphic engineering models biological components into artificial chips. It recently provides an event-based camera inspired from a biological retina. The sparse, asynchronous, scene-driven visual data generated by these sensors allow the development of computationally efficient bio-inspired artificial vision. I focus in this thesis on studying how event-based acquisition and its accurate temporal precision can change object recognition by adding precise timing in the process. This thesis first introduces a frame-based object detection and recognition algorithm used for semantic mapping. It then studies quantitatively what are the advantages of using event-based acquisition using mutual information. It then inquires into low level event-based spatiotemporal features in the context of dynamic scene to introduce an implementation of a real-time multi-kernel feature tracking using Gabor filters or any kernel. Finally, a fully asynchronous time-oriented architecture of object recognition mimicking V1 visual cortex is presented. It extends the state of the art HMAX model in a pure temporal implementation of object recognition