Localisation et détection de fermeture de boucle basées saillance visuelle : algorithmes et architectures matérielles

Localization and loop-closure detection based visual saliency : algorithms and hardware architectures

• Auteur / Autrice : Merwan Birem
• Direction : François Berry, Youcef Mezouar
• Type : Thèse de doctorat
• Discipline(s) : Electronique et Architecture des Systèmes
• Date : Soutenance le 12/03/2015
• Etablissement(s) : Clermont-Ferrand 2
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)
• Jury : Président / Présidente : Fabrice Mériaudeau
• Jury : Examinateurs / Examinatrices : François Berry, Youcef Mezouar, Jean-Charles Quinton
• Jury : Rapporteurs / Rapporteuses : David Filliat, Lionel Lacassagne

Mots clés

Mots clés contrôlés

Traitement d'images

Temps réel (informatique)

Systèmes embarqués (informatique)

Réseaux logiques programmables par l'utilisateur

Vision artificielle (robotique)

Robots mobiles

Mots clés libres

Attention Visuelle

Caméra intelligente

Détection de fermeture de boucle

FPGA

Localisation de robot

Primitives visuelles

Systèmes embarqués

Temps réel

Traitement d’images

Embedded systems

FPGA

Image processing

Robot localization

Loop closure detection

Real time

Smart camera

Visual attention

Visual features

Résumé

Dans plusieurs tâches de la robotique, la vision est considérée comme l’élément essentiel avec lequel la perception de l’environnement ou l’interaction avec d’autres utilisateurs peut se réaliser. Néanmoins, les artefacts potentiellement présents dans les images capturées rendent la tâche de reconnaissance et d’interprétation de l’information visuelle extrêmement compliquée. Il est de ce fait, très important d’utiliser des primitives robustes, stables et ayant un taux de répétabilité élevé afin d’obtenir de bonnes performances. Cette thèse porte sur les problèmes de localisation et de détection de fermeture de boucle d’un robot mobile en utilisant la saillance visuelle. Les résultats en termes de précision et d’efficacité des applications de localisation et de détection de fermeture sont évalués et comparés aux résultats obtenus avec des approches de l’état de l’art sur différentes séquences d’images acquises en milieu extérieur. Le principal inconvénient avec les modèles proposés pour l’extraction de zones de saillance est leur complexité de calcul, ce qui conduit à des temps de traitement important. Afin d’obtenir un traitement en temps réel, nous présentons dans ce mémoire l’implémentation du détecteur de régions saillantes sur la plate forme reconfigurable DreamCam.

In several tasks of robotics, vision is considered to be the essential element by which the perception of the environment or the interaction with other users can be realized. However, the potential artifacts in the captured images make the task of recognition and interpretation of the visual information extremely complicated. It is therefore very important to use robust, stable and high repeatability rate primitives to achieve good performance. This thesis deals with the problems of localization and loop closure detection for a mobile robot using visual saliency. The results in terms of accuracy and efficiency of localization and closure detection applications are evaluated and compared to the results obtained with the approaches provided in literature, both applied on different sequences of images acquired in outdoor environnement. The main drawback with the models proposed for the extraction of salient regions is their computational complexity, which leads to significant processing time. To obtain a real-time processing, we present in this thesis also the implementation of the salient region detector on the reconfigurable platform DreamCam.