Vision par ordinateur évènementielle couleur : cadriciel, prototype et applications

Color event-based computer vision : framework, prototype and applications

• Auteur / Autrice : Alexandre Marcireau
• Direction : Ryad Benosman
• Type : Thèse de doctorat
• Discipline(s) : Ingénierie neuromorphique
• Date : Soutenance le 23/09/2019
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut de la vision (Paris ; 2009-....)
• Jury : Président / Présidente : Bruno Gas
• Jury : Rapporteur / Rapporteuse : Elisabetta Chicca, Stéphane Viollet

Mots clés

Mots clés contrôlés

Algorithmes bio-inspirés (intelligence artificielle)

Capteurs (technologie)

Réseaux neuronaux (informatique)

Vision par ordinateur en médecine

Mots clés libres

Neuromorphique

Évènementiel

Vision par ordinateur

Couleur

Brainbow

Neuromorphic

Event-based

Computer vision

Color

Brainbow

Résumé

L'ingénierie neuromorphique aborde de manière bio-inspirée le design des capteurs et ordinateurs. Elle prône l'imitation du vivant à l'échelle du transistor, afin de rivaliser avec la robustesse et la faible consommation des systèmes biologiques. Les caméras évènementielles ont vu le jour dans ce cadre. Elles possèdent des pixels indépendants qui détectent de manière asynchrone les changements dans leur champ visuel, avec une grande précision temporelle. Ces propriétés étant mal exploitées par les algorithmes usuels de vision par ordinateur, un nouveau paradigme encourageant de petits calculs à chaque évènement a été développé. Cette approche témoigne d'un potentiel à la fois pour la vision par ordinateur et en tant que modèle biologique. Cette thèse explore la vision par ordinateur évènementielle, afin de mieux comprendre notre système visuel et identifier des applications. Nous approchons le problème par la couleur, un aspect peu exploré des capteurs évènementiels. Nous présentons un cadriciel supportant les évènements couleur, ainsi que deux dispositifs expérimentaux l'utilisant : une caméra couleur évènementielle et un système pour la psychophysique visuelle destiné à l'étude du temps précis dans le cerveau. Nous considérons l'application du capteur couleur à la méthode de génie génétique Brainbow, et présentons un modèle mathématique de cette dernière.

Neuromorphic engineering is a bio-inspired approach to sensors and computers design. It aims to mimic biological systems down to the transistor level, to match their unparalleled robustness and power efficiency. In this context, event-based vision sensors have been developed. Unlike conventional cameras, they feature independent pixels which asynchronously generate an output upon detecting changes in their field of view, with high temporal precision. These properties are not leveraged by conventional computer vision algorithms, thus a new paradigm has been devised. It advocates short calculations performed on each event to mimic the brain, and shows promise both for computer vision and as a model of biological vision. This thesis explores event-based computer vision to improve our understanding of visual perception and identify potential applications. We approach the issue through color, a mostly unexplored aspect of event-based sensors. We introduce a framework supporting color events, as well as two experimental devices leveraging it: a three-chip event-based camera performing absolute color measurements, and a visual psychophysics setup to study the role of precise-timing in the brain. We explore the possibility to apply the color sensor to the genetic engineering Brainbow method, and present a new mathematical model for the latter.