Estimation évènementielle du déplacement de systèmes neuromorphiques binoculaires

Fully event-based motion estimation of neuromorphic binocular systems

• Auteur / Autrice : Laurent Dardelet
• Direction : Sio-Hoï Ieng, Ryad Benosman
• Type : Thèse de doctorat
• Discipline(s) : Ingénierie
• Date : Soutenance le 15/12/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut de la vision (Paris ; 2009-....)
• Jury : Président / Présidente : Bruno Gas
• Jury : Rapporteurs / Rapporteuses : Bernabé Linares-Barranco, Laurent Perrinet

Mots clés

Mots clés contrôlés

Odométrie visuelle

Traitement du signal

Vision artificielle (robotique)

Réseaux neuronaux (informatique)

Algorithmes bio-inspirés (intelligence artificielle)

Mots clés libres

Ingénierie neuromorphique

Traitement du signal évènementiel

Suivi d'objets

Odométrie visuelle

Language Python

Neuromorphic engineering

Event-based processing

Tracking

Visual odometry

Python language

Résumé

L’ingénierie neuromorphique est un domaine en pleine expansion depuis une vingtaine d'années, notamment grâce aux développement de rétines artificielles. Leurs applications concrètes sont en train d'apparaitre, en particulier dans les domaines de la robotique, de la conduite autonome ou encore dans le médical. Cependant, des problèmes fondamentaux persistent dans le traitement même de ces données d'un type nouveau. Les méthodes utilisées essayent trop souvent d'imiter celles adaptées aux flux vidéos conventionnels, voire même de les reprendre entièrement. Ces méthodes, qui traitent de manière synchrone des ensembles de données ne sont pas adaptées à la nature fondamentale du signal évènementiel. Les calculs fait sur ces données devraient, en toute logique, respecter et mettre en avant cette nature discrète des évènements. Cette thèse utilise comme support l'odométrie visuelle pour développer des techniques purement évènementielles qui tirent profit au maximum des avantages des capteurs neuromorphiques. Par l'utilisation de mises à jour asynchrones et infinitésimales, on montre qu'il est possible de procéder à des calculs préservant une latence temporelle faible, et ce avec moindre coût de calcul, réduisant d'autant l'empreinte énergétique de tels systèmes.

Through the advances of artificial retinas, neuromorphic computation has been an increasing research field over the past 20 years. Applications in robotics, autonomous driving, medical equipment are starting to appear. However, some major issues remain, as methods used too often mimic, if not simply adapt standard frame-based techniques developed for fundamentally different type of data. These techniques often process batches of data, performing global optimization while forgetting the fundamental nature of events. As they present infinitesimal changes of the scene, we believe they should be treated as such upon computation. This thesis focuses on the case on visual odometry to develop fully event-based computation techniques, by using the entire advantages given by the neuromorphic sensors available. Using infinitesimal updates, we developed low-latency algorithms, while handling vastly different scene dynamics. By carefully analyzing events streams, we believe low latency can be achieved at low computational cost, showing once again that neuromorphic engineering is a way to reduce computer vision energy footprint.