Cartographie des objets à partir de vues multiples par apprentissage profond

Learning to map street-side objects using multiple views

• Auteur / Autrice : Ahmed Samy Nassar
• Direction : Sébastien Lefèvre, Ian Dirk Wegner
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/05/2021
• Etablissement(s) : Lorient
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - Institut de Recherche en Informatique et Systèmes Aléatoires / IRISA
• Jury : Président / Présidente : Élisa Fromont
• Jury : Examinateurs / Examinatrices : Nathan Jacobs, Konrad Schindler, Alexandre Boulch
• Jury : Rapporteurs / Rapporteuses : Friedrich Fraundorfer, Christian Heipke

Mots clés

Mots clés contrôlés

Reconnaissance d'objets (informatique)

Design urbain

Théorie des graphes

Vision par ordinateur

Apprentissage profond

Mots clés libres

Ré-identification

Objets urbains

Géolocalisation

Deep Learning

Computer Vision

Object detection

Re-identification

Graph Neural Networks

Urban objects

Multi-view

Résumé

La création d'inventaires d'objets urbains et leur suivi est un processus coûteux en main-d’œuvre. Les agents de terrain effectuent généralement ce processus sur place pour collecter les propriétés sur ces objets. Ces propriétés peuvent être liées à l'emplacement, l'espèce, la hauteur et la santé d'un arbre par exemple. La lourdeur du processus de collecte de telles informations rend difficile l'étude des villes. Avec l'abondance d'images fournies par les services de cartographie en ligne (Google Maps et Street View, Mapillary, etc.), une couverture adéquate d'une ville peut être obtenue à partir de différents points de vue, tels que les vues aériennes ou au niveau du sol. La disponibilité de telles images permet la création et la mise à jour efficaces des inventaires de l'état des objets urbains en utilisant des méthodes de vision par ordinateur telles que la détection d'objets et le suivi d'objets multiples en utilisant de nouvelles méthodes d'apprentissage profond.

Creating inventories of street-side objects and their monitoring in cities is a labor-intensive and costly process. Field workers are known to conduct this process on-site to record properties about the object. These properties can be the location, species, height, and health of a tree as an example. To monitor cities, gathering such information on a large scale becomes challenging. With the abundance of imagery, adequate coverage of a city is achieved from different views provided by online mapping services (e.g., Google Maps and Street View, Mapillary). The availability of such imagery allows efficient creation and updating of inventories of street-side objects status by using computer vision methods such as object detection and multiple object tracking. This thesis aims at detecting and geo-localizing street-side objects, especially trees and street signs, from multiple views using novel deep learning methods.