Caméra intelligente embarquée pour le suivi robustes d'objet sur plateforme mobile

Intelligent embedded camera for robust object tracking on mobile platform

• Auteur / Autrice : Imane Salhi
• Direction : Valérie Gouet-Brunet
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Automatique
• Date : Soutenance le 14/01/2021
• Etablissement(s) : Paris Est
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire en Sciences et technologies de l'information géographique (Champs-sur-Marne, Seine-et-Marne) - Laboratoire des Sciences et Technologies de l'Information Géographique / LaSTIG
• Jury : Président / Présidente : Frédéric Chausse
• Jury : Examinateurs / Examinatrices : Valérie Gouet-Brunet, Michèle Gouiffès, Erwan Piriou
• Jury : Rapporteurs / Rapporteuses : Michèle Gouiffès

Mots clés

Mots clés contrôlés

Navigation par inertie

Caméras intelligentes

Systèmes embarqués (informatique)

Mots clés libres

Systèmes embarqués

Suivi

Caméra

Imu

Fusion

Ekf

Embedded systems

Tracking

Camera

Imu

Fusion

Ekf

Résumé

Les systèmes de navigation visuelle-inertielle (VINS) est une thématique d'actualité, difficile à traiter, notamment lorsqu’il s’agit de respecter les contraintes des systèmes embarqués. Les questions relatives à la miniaturisation, la portabilité et la communication (en ce qui concerne, par exemple, l’IoT) des systèmes électroniques s’inscrivent dans des problématiques actuelles en matière d'avancée technologique. Pour répondre de manière efficace à ces problématiques, il est nécessaire d’envisager des traitements complexes et des implémentations sur des supports contraignants en termes d’intégration et de consommation d’énergie, tels que les micro véhicules aériens (MAV), les drones (UAV), les lunettes intelligentes et les caméras intelligentes.Au cours de cette dernière décennie, différents algorithmes de suivi et de VINS ont été développés. Ils sont suffisamment précis mais ils nécessitent des ressources calculatoires conséquentes, dans l'objectif de pouvoir réaliser un suivi performant, compte tenu des différentes formes d'utilisation possibles. Or, les systèmes embarqués imposent de fortes contraintes d'intégration, ce qui réduit leurs ressources, particulièrement en termes de capacité calculatoire. Par conséquent, ce type de système nécessite de recourir à des algorithmes efficaces avec moins de charge et de complexité calculatoire. En effet, tout l’enjeu de cette thèse réside dans cette problématique. L'objectif de ce travail est d’apporter une solution de suivi qui permettrait d'assurer un fonctionnement robuste dans différents environnements de navigation, adaptée à l'implémentation sur une architecture embarquée. Le système proposé dans cette thèse est nommé « système de suivi inertiel-visuel adaptatif à l'environnement de navigation »

Initially, the aim of this study is to analyze, compare and retain the most relevant tracking methods likely to respect the constraints of embedded systems, such as Micro Aerial Vehicles (MAVs), Unmanned Aerial Vehicles (UAVs), intelligent glasses, textit{etc.} in order to find a new robust embedded tracking system. A typical VINS consists of a monocular camera that provides visual data (frames), and a low-cost Inertial Measurement Unit (IMU), a Micro-Electro-Mechanical System (MEMS) that measures inertial data. This combination is very successful in the application field of system navigation thanks to the advantages that these sensors provide, mainly in terms of accuracy, cost and rapid reactivity. Over the last decade, various sufficiently accurate tracking algorithms and VINS have been developed, however, they require greater computational resources. In contrast, embedded systems are characterized by their high integration constraints and limited resources. Thus, a solution to embedded architecture must be based on efficient algorithms that provide less computational load.As part of this work, various tracking algorithms identified in the literature are discussed, focusing on their accuracy, robustness, and computational complexity. In parallel to this algorithmic survey, numerous recent embedded computation architectures, especially those dedicated to visual and/or visual-inertial tracking, are also presented. In this work, we propose a robust visual-inertial tracking method, called: ''Context Adaptive Visual Inertial SLAM''. This approach is adaptive to different system navigation context and well fitted for embedded systems such as MAVs. It focuses on the analysis of the impact of navigation condition on the tracking process in an embedded system. It also provides an execution control module able to switch between the most relevant tracking approaches by monitoring its internal state and external inputs variables. The main objective is to ensure tracking continuity and robustness despite difficult conditions