Deep learning, centrales inertielles et odométrie : techniques de prototypages modernes pour la navigation basées sur la fusion de capteurs

Deep learning, inertial measurements units, and odometry : some modern prototyping techniques for navigation based on multi-sensor fusion

• Auteur / Autrice : Martin Brossard
• Direction : Silvère Bonnabel
• Type : Thèse de doctorat
• Discipline(s) : Informatique temps réel, robotique, automatique
• Date : Soutenance le 22/09/2020
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique
• Partenaire(s) de recherche : Laboratoire : Centre de robotique (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure des mines (Paris ; 1783-....)
• Jury : Président / Présidente : David Filliat
• Jury : Examinateurs / Examinatrices : Silvère Bonnabel, Axel Barrau, Yacine Chitour
• Jury : Rapporteurs / Rapporteuses : Tim Barfoot, Dana Kulić Peng

Mots clés

Mots clés contrôlés

Centrales inertielles

Odométrie visuelle

Réseaux neuronaux (informatique)

Fusion multicapteurs

Apprentissage profond

SLAM (langage de programmation)

Kalman, Filtrage de

Mots clés libres

Navigation

Filtre de Kalman

Fusion de capteurs

Apprentissage profond

Centrale inertielle

SLAM

Kalman filter

Sensor fusion

IMU

SLAM

Deep learning

Navigation

Résumé

Cette thèse aborde les méthodes d'estimation d'état pour les véhicules équipés de divers capteurs tels que des caméras et des centrales inertielles. Le filtre de Kalman est un outil largement utilisé pour estimer l'état d'un système dynamique, qui soulève des questions théoriques pour les systèmes non linéaires présents dans la navigation, et qui repose sur des modèles physiques et des paramètres qui doivent être optimisés efficacement par l'utilisateur. La thèse contribue au filtrage de Kalman pour la navigation, où les contributions se divisent en deux contributions majeures. La première contribution consiste à s'appuyer sur le récent filtre de Kalman étendu invariant pour résoudre les problèmes difficiles que sont l'inconsistance du filtre de Kalman étendu pour le problème de la localisation et de la cartographie simultanées, de la navigation avec des capteurs visuels, et la question plus générale du filtrage de Kalman sur les variétés. La deuxième contribution consiste à utiliser des outils récents du domaine de l'intelligence artificielle, à savoir l'apprentissage profond, pour améliorer les filtres de Kalman, notamment pour relier les mesures des capteurs à l'état du système, et pour régler le filtre efficacement, c'est-à-dire utiliser des techniques d'apprentissage automatique pour trouver une stratégie de réglage dynamique des paramètres du filtre de Kalman qui correspond aux données et qui est également capable de fournir de nouvelles informations au filtre. La thèse introduit ainsi différents algorithmes de filtrage et réseaux de neurones profonds dont l'implémentation est rendue open-source.

This thesis deals with state estimation for vehicles that are equipped with various sensors such as cameras and inertial measurement units. The Kalman filter is a widely used tool that estimates the state of a dynamical system, which raises theoritical questions for the nonlinear systems present in navigation, and that relies on physical models and parameters that need to be efficient tuned by the user. This thesis contributes to Kalman filtering for navigation, where the contributions focus on two different manners. The first manner consists in building on the recent invariant extended Kalman filter to address challenging issues, namely the inconsistency of extended Kalman filter for the problem of simultaneous localization and mapping, navigation with vision sensors, and the more general question of Kalman filtering on manifolds. The second manner consists in using recent tools from the field of artificial intelligence, namely deep learining, to improve Kalman filters, notably to relate sensors’ measurements to the state, and to tune the filter efficiently, that is, using machine learning techniques to find a dynamical tuning strategy of the Kalman filter parameters that best matches the data and that is also able to provide new information to the filter. The thesis thus introduces differents filtering algorithms and deep neural networks whose implementation are made open-source.