Odométrie Visio-Inertielle Basée sur Le Flot Optique pour Les Capteurs Neuromorphiques de Vision

Flow-Based Visual-Inertial Odometry for Neuromorphic Vision Sensors

• Auteur / Autrice : Mahmoud Khairallah
• Direction : Samia Bouchafa, David Roussel, Fabien Bonardi
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 16/09/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Informatique, Biologie Intégrative et Systèmes Complexes (Evry, Essonne) - IBISC - Informatique, BioInformatique, Systèmes Complexes
• Partenaire(s) de recherche : référent : Université d'Évry-Val-d'Essonne (1991-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l'ingénierie et des systèmes (2020-....)
• Partenaire(s) de recherche : Equipe de recherche : SIAM : Signal, Image, AutoMatique
• Jury : Président / Présidente : Pascal Vasseur
• Jury : Examinateurs / Examinatrices : Samia Ainouz, Catherine Achard, Michèle Gouiffès, Omar Tahri
• Jury : Rapporteurs / Rapporteuses : Samia Ainouz, Catherine Achard

Mots clés

Mots clés contrôlés

Flux optique

Techniques de biocapteur

Odométrie visuelle

Capteurs optiques

Mots clés libres

Odométrie visiuelle

Capteurs Optiques

Flux optique

Detection et segmentation des lignes

Fusion des capteurs pour la localisation

Visual-Inertial odometry

Event-Based camera

Optical flow

Lines detection and segmentation

Sensors fusion for localisation

Résumé

Plutôt que de générer des images de manière constante et synchrone, les capteurs neuromorphiques de vision -également connus sous le nom de caméras événementielles, permettent à chaque pixel de fournir des informations de manière indépendante et asynchrone chaque fois qu'un changement de luminosité est détecté. Par conséquent, les capteurs de vision neuromorphiques n'ont pas les problèmes des caméras conventionnelles telles que les artefacts d'image et le Flou cinétique. De plus, ils peuvent fournir une compression sans perte de donné avec une résolution temporelle et une plage dynamique plus élevée. Par conséquent, les caméras événmentielles remplacent commodément les caméras conventionelles dans les applications robotiques nécessitant une grande maniabilité et des conditions environnementales variables. Dans cette thèse, nous abordons le problème de l'odométrie visio-inertielle à l'aide de caméras événementielles et d'une centrale inertielle. En exploitant la cohérence des caméras événementielles avec les conditions de constance de la luminosité, nous discutons de la possibilité de construire un système d'odométrie visuelle basé sur l'estimation du flot optique. Nous développons notre approche basée sur l'hypothèse que ces caméras fournissent des informations des contours des objets de la scène et appliquons un algorithme de détection de ligne pour la réduction des données. Le suivi de ligne nous permet de gagner plus de temps pour les calculs et fournit une meilleure représentation de l'environnement que les points d'intérêt. Dans cette thèse, nous ne montrons pas seulement une approche pour l'odométrie visio-inertielle basée sur les événements, mais également des algorithmes qui peuvent être utilisés comme algorithmes des caméras événementielles autonomes ou intégrés dans d'autres approches si nécessaire.

Rather than generating images constantly and synchronously, neuromorphic vision sensors -also known as event-based cameras- permit each pixel to provide information independently and asynchronously whenever brightness change is detected. Consequently, neuromorphic vision sensors do not encounter the problems of conventional frame-based cameras like image artifacts and motion blur. Furthermore, they can provide lossless data compression, higher temporal resolution and higher dynamic range. Hence, event-based cameras conveniently replace frame-based cameras in robotic applications requiring high maneuverability and varying environmental conditions. In this thesis, we address the problem of visual-inertial odometry using event-based cameras and an inertial measurement unit. Exploiting the consistency of event-based cameras with the brightness constancy conditions, we discuss the availability of building a visual odometry system based on optical flow estimation. We develop our approach based on the assumption that event-based cameras provide edge-like information about the objects in the scene and apply a line detection algorithm for data reduction. Line tracking allows us to gain more time for computations and provides a better representation of the environment than feature points. In this thesis, we do not only show an approach for event-based visual-inertial odometry but also event-based algorithms that can be used as stand-alone algorithms or integrated into other approaches if needed.