Localisation basée amers visuels : détection et mise à jour d’amers avec gestion des incertitudes

Landmark based localization : Detection and update of landmarks with uncertainty analysis

• Auteur / Autrice : Xiaozhi Qu
• Direction : Nicolas Paparoditis
• Type : Thèse de doctorat
• Discipline(s) : Sciences et Technologies de l'Information Géographique
• Date : Soutenance le 15/02/2017
• Etablissement(s) : Paris Est
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire en Sciences et technologies de l'information géographique (Champs-sur-Marne, Seine-et-Marne) - LASTIG
• Jury : Président / Présidente : Marc Pierrot-Deseilligny
• Jury : Examinateurs / Examinatrices : Nicolas Paparoditis, Bahman Soheilian, Sylvie Naudet-Colette
• Jury : Rapporteurs / Rapporteuses : Vincent Lepetit, Pierre Grussenmeyer

Mots clés

Mots clés contrôlés

Odométrie visuelle

Cartographie spatiale

Services basés sur la localisation

Mots clés libres

Localisation

Amers visuels

Incertitude

Localization

Landmak

Uncertainty

Résumé

En utilisant des amers visuels géoréférencés. Le processus d’appariement de flux d’images avec ces amers est guidé par les incertitudes des poses. On ajoute des contraintes absolues dans le système d’équations de l’ajustement de faisceaux. La dérive de la trajectoire du véhicule de cartographie est très fortement réduite.  Chaque étape de l’algorithme est évaluée sur des séquences d’images réelles avec une vérité terrain. Le véhicule de cartographie est le processus de collecte des données géo-spatiales. Ces véhicules sont souvent équipés de deux types de capteurs: télédétection (caméras, Lidar, Radar) et géolocalisation (GNSS, IMU, Odomètre). Le géoréférencement des données précis et robuste constitue un enjeu majeur pour la mise en œuvre des systèmes de cartographie mobile. En effet, en milieux urbains denses, les phénomènes de masquages GNSS et de trajets multiples pertubent les mesures de GNSS et conduisent à des erreurs de localisations importantes. Les centrales inertielles de grandes précisions permettent de combler les manques de localisation GNSS. Elles garantissent une dérive de position suffisamment faible pour obtenir la qualité de géoréférencement nécessaire pour la numérisation à des fins cartographiques. Aujourd’hui, la maturité des systèmes de géolocalisation hybride (GNSS/IMU/Odomètre) offre des solutions industrielles fiables pour la collecte de données géoréférencées. Les agences de cartographie nationales et privées ont commencées à faire des acquisitions de données nécessaires à la constitution de données géo-spatiales à très grande échelle. Cependant, le coût très onéreux des systèmes de géolocalisation intégrant des centrales inertielles de grandes précisions restreint leur utilisation à la constitution de données géoréferencées. Une solution plus abordable est nécessaire pour équiper les véhicules  employés pour les mises à jour régulières de ces données.L’objectif de cette thèse est de proposer une solution abordable de géolocalisation utilisable sur un grand nombre de véhicules pouvant être mobilisés pour la mise à jour de données géoréferencées.Nous proposons d’utiliser une ou plusieurs caméras sur un véhicule comme un système de géoréférencement. En effet la trajectoire du véhicule peut être estimée par une technique d’odométrie visuelle. Pour limiter la dérive de la trajectoire due à l’accumulation des erreurs, nous proposons de le recaler sur un ensemble d’amers visuels précisément géoréférencés. Ces amers sont reconstruits en utilisant les données géoréferencées générées par des systèmes de cartographies précis et onéreux. Les caractéristiques de route telles que les signalisations horizontales et verticales ont été choisi en tant que amers visuels.Un algorithme d’ajustement de faisceaux local a été adapté pour estimer la pose des caméras en utilisant un flux d’images acquis par un ou plusieurs caméras embarquées sur celui-ci. Une méthode rigoureuse de prise en compte des incertitudes permet de pondérer de manière automatique les différents types de contraintes dans le système d’équations de l’ajustement et d’estimer les incertitudes des paramètres. Ces dernières sont utilisées dans une approche appelée appariement par propagation qui permet d’accélérer le processus de suivi des points d’intérêt entre les images et d’éliminer un grand nombre de faux appariements. Cela réduit très fortement la dérive du véhicule en diminuant les sources des erreurs. Chaque étape de l'algorithme est évaluée sur des séquences d'images réelles avec des vérités terrains

Mobile mapping is the process of collecting geospatial data with a moving vehicle. These vehicles are often equipped with two types of sensors: remote sensing (cameras, lidar, radar) and geo-localization (GNSS, IMU, odometer). Precise and robust georeferencing has been a major challenge for the implementation of mobile mapping systems. Indeed, in dense urban environments, the masks of signals and multipath errors corrupt the measurements and lead to big positioning errors. High precision IMUs enable to bridge the gaps of positioning and ensure a drift low enough to fulfil the requirements of mapping in terms of accuracy. Nowadays, the hybrid positioning systems (GNSS / IMU / Odometer) are mature enough to provide reliable industrial solutions for the collection of geo-referenced data. National and private mapping agencies have started to collect the required row data for building geospatial repositories at very large scales. However, the very high cost of positioning systems incorporating high precisions IMUs restricts their use to the establishment of geospatial reference data and more affordable positioning solutions are needed for map updating purpose.The objective of this thesis is to provide a low cost positioning solution that can be used on a large number of map updating vehicles.We propose to use one or more cameras on a vehicle as a georeferencing system. Indeed, the vehicle’s trajectory can be estimated using visual odometry techniques. To limit the drift of the trajectory due to the accumulation of errors, we propose a registration on a set of visual landmarks that are precisely georeferenced. These landmarks are reconstructed using the reference data generated by precise and expensive mapping systems. Natural road features such as road markings and traffic signs were chosen as visual landmarks.A local bundle adjustment algorithm has been adapted to estimate the pose of the vehicle using a sequence of images acquired by one or more embedded cameras. A rigorous approach that takes into account the uncertainties enables to tune automatically the weights of every constraint in the equation system of the adjustment and to estimate the uncertainties of the parameters. They are used in a propagation based matching algorithm that accelerates the process of tracking the interest points between the images and eliminate many false matches. This significantly reduces the drift of the visual odometry by reducing the sources of errors. The remaining part of the drift is removed using georeferenced visual landmarks. The process of matching the image sequence with the landmarks is guided by the uncertainty of the poses. It adds a set of absolute constraints in the equation system of bundle adjustment. The drift is drastically reduced. Each step of the algorithm is evaluated on real image sequences with ground truths