Visual-inertial sensor fusion and state estimation for the navigation of autonomous vehicles - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Visual-inertial sensor fusion and state estimation for the navigation of autonomous vehicles

Fusion de capteurs visuels-inertiels et estimation d'état pour la navigation des véhicules autonomes

Résumé

Accurate state estimation is a fundamental problem for the navigation of Autonomous vehicles. This is particularly important when the vehicle is navigating through cluttered environments or it has to navigate in close proximity to its physical surroundings in order to perform localization, obstacle avoidance, environmental mapping etc. Although several algorithms were proposed in the past for this problem of state estimtation, they were usually applied to a single sensor or a specific sensor suite. To this end, researchers in the computer vision and control community came up with a visual-inertial framework (Camera + Imu) that exploit the combined properties of this sensor suite to produce precise local estimates (position, orientation, velocity etc). Taking inspiration from this, my thesis focuses on developing nonlinear observers for State Estimation by exploiting the classical Riccati design framework with a particular emphasis on visual-inertial sensor fusion. In the context of this thesis, we use a suite of low-cost sensors consisting of a monocular camera and an IMU. Throughout the thesis, the assumption on the planarity of the visual target has been considered. In the present thesis, two research topics have been considered. Firstly, an extensive study for the existing techniques for homography estimation has been carried out after which a novel nonlinear observer on the SL(3) group has been proposed with application to optical flow estimation. The novelty lies in the linearization approach undertaken to linearize a nonlinear observer on SL(3), thus making it more simplistic and suitable for practical implementation. Then, another novel observer based on deterministic Ricatti observer has been proposed for the problem of partial attitude, linear velocity and depth estimation for planar targets. The proposed approach does not rely on the strong assumption that the IMU provides the measurements of the vehicle’s linear acceleration in the body-fixed frame. Again experimental validations have been carried out to show the performance of the observer. An extension to this observer has been further proposed to filter the noisy optical flow estimates obtained from the extraction of continuous homography. Secondly, two novel observers for tackling the classical problem of homography decomposition have been proposed. The key contribution here lies in the design of two deterministic Riccati observers for addressing the homography decomposition problem instead of solving it on a frame-by-frame basis like traditional algebraic approaches. The performance and robustness of the observers have been validated over simulations and practical experiments. All the observers proposed above are part of the Homography-Lab library that has been evaluated at the TRL 7 (Technology Readiness Level) and is protected by the French APP (Agency for the Protection of Programs) which serves as the main brick for various applications like velocity, optical flow estimation and visual homography based stabilization.
L’estimation précise de l’état du système est un problème fondamental pour la navigation des véhicules autonomes. Ceci est particulièrement important lorsque le véhicule navigue dans des environnements encombrés ou à proximité d’obstacles, afin d’effectuer la localisation, l’évitement d’obstacles, la cartographie de l’environnement, etc. Bien que plusieurs algorithmes aient été proposés dans le passé pour ce problème d’estimation d’état, ils impliquent généralement un seul capteur ou plusieurs du même type. Afin de pouvoir exploiter les propriétés de multiples capteurs dotés de caractéristiques différentes (tels que Camera, IMU, Lidar, etc.), les chercheurs de la communauté de vision et de contrôle ont mis au point des modèles mathématiques qui produisent des estimations locales précises (position, orientation, vitesse, etc.). En m’inspirant de cela, ma thèse se concentre sur le développement d’observateurs non-linéaires pour l’estimation d’état en exploitant les algorithmes classiques de type Riccati en mettant l’accent sur la fusion de capteurs visuels-inertiels. Dans le cadre de cette thèse, nous utilisons une suite de capteurs à faible coût composée d’une caméra monoculaire et d’une centrale inertielle. Dans le cadre de la vision monoculaire, nous faisons l’hypothèse que la cible est pratiquement plate. Bien que cette hypothèse soit restrictive, les solutions proposées sont pertinentes pour de nombreuses applications dans les domaines de la robotique aérienne, terrestre et sous-marine. Dans ce contexte, deux nouveaux observateurs non linéaires sont proposés, le premier pour l’estimation de l’homographie et le deuxième pour l’estimation de l’attitude partielle, de la vitesse linéaire et de la profondeur. Dans la deuxième partie de la thèse, deux nouveaux observateurs déterministes de Riccati sont proposés pour traiter le problème classique de décomposition d’homographie au lieu de le résoudre image par image comme les approches algébriques traditionnelles. Tous ces travaux sont publiés dans des conférences internationales de haut-niveau. Tous les observateurs proposés ci-dessus font partie de la bibliothèque HomographyLab dont je suis l’un des principaux contributeurs. Cette bibliothèque a été évaluée au niveau TRL 7 (Technology Readiness Level) et est protégée par l’APP (Agence pour la Protection des Programmes) qui sert de brique principale pour diverses applications telles que l’estimation de vitesse et de flux optique, et la stabilisation basée sur l’homographie visuelle.
Fichier principal
Vignette du fichier
2022COAZ4111.pdf (9.77 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03969404 , version 1 (02-02-2023)

Identifiants

  • HAL Id : tel-03969404 , version 1

Citer

Ninad Manerikar. Visual-inertial sensor fusion and state estimation for the navigation of autonomous vehicles. Automatic. Université Côte d'Azur, 2022. English. ⟨NNT : 2022COAZ4111⟩. ⟨tel-03969404⟩
88 Consultations
25 Téléchargements

Partager

Gmail Facebook X LinkedIn More