Fusion de données capteurs étendue pour applications vidéo embarquées

Extended sensor fusion for embedded video applications

• Auteur / Autrice : Manu Alibay
• Direction : Philippe Fuchs
• Type : Thèse de doctorat
• Discipline(s) : Informatique, temps réel, robotique et automatique
• Date : Soutenance le 18/12/2015
• Etablissement(s) : Paris, ENMP
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris)
• Partenaire(s) de recherche : Laboratoire : Centre de robotique (Paris)
• Jury : Président / Présidente : Didier Aubert
• Jury : Examinateurs / Examinatrices : Philippe Fuchs, Stéphane Auberger, Bogdan Stanciulescu
• Jury : Rapporteurs / Rapporteuses : Gustavo Marrero Callico, Mounim Yacoubi

Mots clés

Mots clés contrôlés

Simulation par ordinateur

Robotique

Mots clés libres

Informatique

Robotique

Vision par ordinateur

Fusion de données

Computer science

Robotics

Computer vision

Sensor fusion

Résumé

Le travail réalisé au cours de cette thèse se concentre sur la fusion des données d'une caméra et de capteurs inertiels afin d'effectuer une estimation robuste de mouvement pour des applications vidéos embarquées. Les appareils visés sont principalement les téléphones intelligents et les tablettes. On propose une nouvelle technique d'estimation de mouvement 2D temps réel, qui combine les mesures visuelles et inertielles. L'approche introduite se base sur le RANSAC préemptif, en l'étendant via l'ajout de capteurs inertiels. L'évaluation des modèles de mouvement se fait selon un score hybride, un lagrangien dynamique permettant une adaptation à différentes conditions et types de mouvements. Ces améliorations sont effectuées à faible coût, afin de permettre une implémentation sur plateforme embarquée. L'approche est comparée aux méthodes visuelles et inertielles. Une nouvelle méthode d'odométrie visuelle-inertielle temps réelle est présentée. L'interaction entre les données visuelles et inertielles est maximisée en effectuant la fusion dans de multiples étapes de l'algorithme. A travers des tests conduits sur des séquences acquises avec la vérité terrain, nous montrons que notre approche produit des résultats supérieurs aux techniques classiques de l'état de l'art.

This thesis deals with sensor fusion between camera and inertial sensors measurements in order to provide a robust motion estimation algorithm for embedded video applications. The targeted platforms are mainly smartphones and tablets. We present a real-time, 2D online camera motion estimation algorithm combining inertial and visual measurements. The proposed algorithm extends the preemptive RANSAC motion estimation procedure with inertial sensors data, introducing a dynamic lagrangian hybrid scoring of the motion models, to make the approach adaptive to various image and motion contents. All these improvements are made with little computational cost, keeping the complexity of the algorithm low enough for embedded platforms. The approach is compared with pure inertial and pure visual procedures. A novel approach to real-time hybrid monocular visual-inertial odometry for embedded platforms is introduced. The interaction between vision and inertial sensors is maximized by performing fusion at multiple levels of the algorithm. Through tests conducted on sequences with ground-truth data specifically acquired, we show that our method outperforms classical hybrid techniques in ego-motion estimation.