Estimation d'état et localisation de robots à pattes : une approche étroitement couplée basée sur la maximisation a posteriori

State estimation and localization of legged robots : a tightly-coupled approach based on a-posteriori maximization

• Auteur / Autrice : Mederic Fourmy
• Direction : Nicolas Mansard, Joan Solà Ortega
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 21/03/2022
• Etablissement(s) : Toulouse, INSA
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : LAAS - Laboratoire d'Analyse et d'Architecture des Systèmes - Laboratoire d'analyse et d'architecture des systèmes / LAAS
• Jury : Président / Présidente : Simon Lacroix
• Jury : Examinateurs / Examinatrices : Nicolas Mansard, Joan Solà Ortega, Vincent Padois, Teresa Vidal Calleja, Diane Larlus, Ludovic Righetti, Olivier Stasse
• Jury : Rapporteurs / Rapporteuses : Vincent Padois, Teresa Vidal Calleja

Mots clés

Mots clés contrôlés

SLAM (langage de programmation)

Robots

Mots clés libres

Estimation

Robots

Localisation

Slam

Robot quadrupède et bipède

Locomotion

Estimation

Robot

Localization

Slam

Legged robot

Locomotion

Résumé

Les robots à pattes sont des mécanismes complexes dont la stabilité dépend de la bonne estimation de plusieurs quantités qui doivent être observées à grande vitesse et avec précision. Bien que l'état du robot ne puisse généralement pas être observé directement par des capteurs, il est généralement possible de le reconstruire en fusionnant plusieurs capteurs à condition d'être capable de bénéficier des modalités très diverses qu'ils offrent. C'est bien sur un sujet commun à la plupart des plateformes robotiques, mais le défi posé par l'estimation d'état par fusion de capteurs se renouvelle dans le cadre de la robotique à patte à cause de la dynamique particulière de ces systèmes. D'une part, leur équilibre dépend intimement de l'estimation correcte de leur état ; d'autre part, ils ont besoin d'une représentation fine de leur environnementpour y naviguer et y interagir.A ce jour, l'approche actuelle dominante les robots à pattes est de résoudre indépendamment plusieurs problèmes d'estimation, en utilisant des cascades d'estimateurs qui peuvent négliger une partie des corrélations présente dans les données. Ce découplage artificiel agit comme des a priori forts qui permettent à des estimateurs simples de gérer chaque partie de la cascade et de stabiliser le comportement du schéma d'estimation global. Ce pragmatisme implique néanmoins beaucoup de travail spécialisé qui ne se généralise guère à de nouveaux scénarios ou à de nouvelles modalités de capteurs. Dans cette thèse, nous défendons l'idée de construire un unique estimateur capable d'estimer toutes les quantités nécessaires au robot de manière étroitement couplée. Le cadre de l'estimation a-postériori, formalisé sous la forme d'un graphe de facteurs, est alors très approprié pour formaliser l'approche. Cette affirmation n'est pas une surprise,car les graphes de facteurs sont aujourd'hui très populaires dans la littérature SLAM. Ils sont cependant encore sous-représentés pour les robots à pattes.Dans cette thèse, nous étudions quelques pistes qui nous semblent cruciales pour atteindre cet objectif. Tout d'abord, nous développons des modèles de mesure de capteurs en prêtant attention à la formulation mathématique correcte fondée sur la théorie des groupes de Lie. Deuxièmement, nous proposons des systèmes visuels inertiels basés sur des algorithmes de détection d'objets, qui fournissent une transformation relative entre la caméra et les objets. Nous fournissons des modèles de covariance pour deux types d'objets : le premier est un modèle analytique pour les marqueurs fiduciaires ; la deuxième est un modèle empirique pour l'estimation de pose d'objet basée sur l'apprentissage en profondeur. Troisièmement, nous traitons les capteurs à haute fréquence en développant une généralisation de la théorie de pré-intégration IMU. Nous proposons une nouvelle formulation de la pré-intégration IMU basée sur des groupes de Lie compacts. Quatrièmement, nous montrons que la pré-intégration peut également être appliquée pour utiliser les capteurs de forces trouvés sur les robots à pattes. En la fusionnant avec une odométrie basée sur la cinématique des jambes et une IMU, nous montrons que cette nouvelle formulation rend possible l'estimation étroitement couplée des quantités centroïdale dans le contexte de l'estimation des graphes de facteurs.Les idées théoriques proposées sont mises en œuvre dans un cadre d'estimation cohérent, étendant le logiciel de graphe de facteurs Wolf. Chaque nouvelle modalité est validée dans un montage expérimental dédié qui nous a permis de quantifier son intérêt et sa pertinence pour la robotique à pattes.

Legged robots are complex mechanisms whose stable behavior depends on the proper estimation of several different quantities that must be observed athigh speed and accuracy. While the robot state can mostly not be observed directly by any existing sensors, it is typically reconstructed by fusing verydiverse sensor modalities.These sources of information differ significantly on their acquisition frequencies, the nature of the data, and the computational processing cost.While state estimation by sensor fusion is a common topic to most robotic platforms, it offers a particular challenge in legged robotics by their peculiar dynamics.For legged robots, on the one hand, the robot state is needed to maintain its sense of balance and locomote safely, and, on the other hand, a precise representationof the environment is required for navigation and interaction.The current approach for many legged systems, in the literature, solvethese problems independently, using cascades of estimators that may neglect some of the correlation present in the data.This artificial decoupling acts as strong priors that enable simple estimators to handle the estimation of each part of the cascade and stabilizethe behavior of the overall estimation scheme. On the other hand, designing a cascade involves a lot of specialized work that hardly generalizes to newscenarios or new sensor modalities.In this thesis, we rather defend the idea of building a single tightly-coupled estimator capable of estimating all quantities needed by the robot.For this goal, the framework of a-posteriori estimation, formalized as a factor graph, is very suitable. This assertion does not come as a surprise,as factor graphs are nowadays highly popular in the SLAM literature, yet they are still under-represented in legged robots systems.In this thesis, we investigate a few avenues that we believe are crucial to achieving these goals. First, we develop tailored sensor measurement modelswith attention to the correct mathematical formulation involving Lie theory.Second, we propose visual-inertial systems based on object-level detection that provide relative transformation between the camera and the objects.We provide covariance models for two kinds of objects: the first one is an analytical model for fiducial markers; the secondis an empirical model for deep-learning-based object pose estimation.Third, we handle high-rate sensors by developing a generalization of the IMU pre-integration theory. We propose a new formulation of the IMUpre-integration based on compact Lie groups.Fourth, we show that pre-integration can also be applied to use force-torque sensors found on legged robots.By fusing it with a leg-kinematics based odometry and IMU, we show that this new formulation makes possible the tightly-coupled estimationof centroidal quantities within the context of Factor Graph estimation.The proposed theoretical ideas are implemented in a coherent estimation framework, extending the factor-graph software Wolf. Each new modality isvalidated in a dedicated experimental setup that allowed us to quantify its interest and relevance for legged robotics.