Extraction de caractéristiques et reconnaissance de formes avec des caméras neuromorphiques

Feature Extraction and Pattern Recognition with Neuromorphic Vision Sensors

• Auteur / Autrice : Jean-Matthieu Maro
• Direction : Ryad Benosman, Sio-Hoï Ieng
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 30/09/2020
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut de la vision (Paris ; 2009-....)
• Jury : Président / Présidente : Bruno Gas
• Jury : Rapporteurs / Rapporteuses : Elisabetta Chicca, Timothée Masquelier

Mots clés

Mots clés contrôlés

Reconnaissance gestuelle

Réseaux neuronaux (informatique)

Apprentissage automatique

Vision artificielle (robotique)

Mots clés libres

Évènementiel

Ingénierie neuromorphique

Neuromorphique

Vision par ordinateur

Apprentissage automatique

Signaux asynchrones

Signaux événementiels

Algorithmes

Event-based

Neuromorphic

Gesture recognition

Résumé

Les caméras événementielles ou neuromorphiques sont des capteurs s'inspirant de l’œil humain dans leur fonctionnement. Chaque pixel est indépendant, asynchrone et réagit aux changements de luminosité se produisant dans son propre champ de vision ; ces changements se traduisent par l'émission d'un événement. Le flot d'évènements émis par la caméra est une représentation éparse et non redondante de la scène visuelle. Dans cette thèse, nous introduisons des méthodes événementielles, c'est-à-dire asynchrones et déclenchées par des événements, qui ont pour but l'extraction de caractéristiques et la reconnaissance de formes. Nous introduisons une première primitive basée sur le flot optique. Celle-ci est ensuite utilisée pour des tâches de reconnaissance de gestes et de détection de coins. Nous introduisons ensuite un système complet de reconnaissance de gestes basé sur HOTS (Hierarchy Of Time-Surfaces, Lagorce 2016) avec suppression dynamique de l'arrière-plan. L'ensemble se contente de la puissance de calcul offerte par un smartphone standard. Nous présentons ensuite une proposition d'architecture de mémoire adaptée aux algorithmes événementiels semi-accumulatifs. Celle-ci se fonde sur le principe des mémoires associatives. Elle présente deux avantages : un stockage plus efficace des événements et la possibilité d'effectuer des calculs à l'intérieur même du bloc mémoire. Ce dernier point est un pas supplémentaire vers un calcul distribué dans les systèmes événementiels. Nous discutons également au long de ce travail des bénéfices et désavantages des méthodes semi-accumulatives.

Event-based cameras -- also known as neuromorphic -- are sensors that mimic the mammalian eye in the way they acquire the visual scene. Each pixel is independent and asynchronous, and reacts to changes in its own field-of-view by emitting events that signal these changes. The stream of events output by the camera is a sparse and non-redundant representation of the visual scene. In this thesis, we introduce event-based -- asynchronous, triggered by new events -- methods for feature extraction and pattern recognition. The first feature is a motion-based feature that accumulate optical-flows, that can serve for pattern recognition and corner detection. We then introduce a gesture recognition pipeline that is embarked on a smartphone, that includes a dynamic background suppression, and runs without any off-board requirements. We then present a new time-adaptive memory architecture for event-based algorithms, focusing on semi-accumulative methods. This memory is based on an associative memory, and while allowing for a more efficient storage of events, enables "in-memory" computation, pushing forward the philosophy of distributed computation in event-based systems. We finally discuss the benefits and disadvantages of semi-accumulative methods.