Segmentation sémantique neuromorphique de scènes événementielles en temps réel

Real-time neuromorphic semantic scene segmentation

• Auteur / Autrice : Dalia Hareb
• Direction : Jean Martinet, Benoît Miramond
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/11/2022
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : I3S - Informatique, Signaux et Systèmes de Sophia-Antipolis

Mots clés

Mots clés libres

Réseaux de neurones impulsionnels

Segmentation sémantique

Caméras événementielles

Spiking neural network

Semantic segmentation

Event based cameras

Résumé

La segmentation d'images est une tâche de vision par ordinateur dans le domaine de l'IA, dans laquelle des régions spécifiques d'une image sont étiquetées en fonction de leur contenu sémantique. L'objectif de ce projet de thèse est de concevoir une segmentation sémantique de scènes en temps réel en utilisant une approche neuromorphique. Plus précisément, le projet combinera un nouveau type de capteur de vision, les caméras événementielles, avec un paradigme d'apprentissage automatique inspiré du cerveau, les réseaux de neurones à impulsions. Ces deux modèles neuromorphiques complémentaires sont tous deux basés sur des événements discrets binaires, clairsemés et asynchrones, ce qui permet une faible latence, les rendant ainsi adaptés aux applications en temps réel. De plus, le matériel neuromorphique récemment développé permet des implémentations à faible puissance, ce qui étend l'utilisation de ces modèles aux dispositifs embarqués tels que les véhicules ou les robots à conduite autonome.

Image segmentation is a computer vision task in the field of AI in which specific regions of an image are labelled according to its semantic contents. The objective of this PhD project is to design a real-time semantic scene segmentation using a neuromorphic approach. More specifically, the project will combine a new kind of vision sensor, event cameras, with a brain-inspired machine learning paradigm, spiking neural networks. These two complementary neuromorphic models are both based on binary discrete events, sparse and asynchronous, allowing for a low latency, thus making them suitable for real-time applications. Moreover, recently developed neuromorphic hardware allow for low-power implementations, which extends the use of these models to embedded devices such as self-driving vehicles or robots.