Vision neuromorphique combinant des données d'événements et d'images

Neuromorphic vision combining event and frame data

• Auteur / Autrice : Dalia Hareb
• Direction : Jean Martinet, Benoît Miramond
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/11/2022
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : I3S - Informatique, Signaux et Systèmes de Sophia-Antipolis

Mots clés

Mots clés libres

Réseaux de neurones impulsionnels

Segmentation sémantique

Caméras événementielles

Spiking neural network

Semantic segmentation

Event based cameras

Résumé

L'intelligence artificielle (IA) s'est profondément intégrée à nos vies, révolutionnant les industries, améliorant les activités quotidiennes et stimulant l'innovation dans divers domaines. Atteindre ces niveaux élevés de performance, en particulier avec des méthodes basées sur des réseaux neuronaux profonds, nécessite une consommation d'énergie importante. Par exemple, l'entraînement d'un seul réseau neuronal, tel que ResNet, pour une tâche nécessite environ 4,3 GJ (1,2 MWh), ce qui équivaut à la consommation d'énergie d'un appartement pour deux personnes pendant 40 jours (sur la base de 30 kWh/jour). En outre, selon Forbes cite{Forbes}, ChatGPT consomme plus de 0,5 MWh d'électricité par jour, ce qui est suffisant pour traiter environ 200 millions de requêtes. Cette consommation quotidienne est comparable à celle de 180 000 ménages américains, qui utilisent chacun environ 29 kWh. Au-delà des préoccupations écologiques et environnementales, ces besoins énergétiques élevés limitent les applications de l'IA à des systèmes dotés de budgets énergétiques importants, ce qui restreint leur utilisation dans du matériel embarqué aux capacités énergétiques limitées, comme ceux que l'on trouve dans les contextes de l'IdO, de l'automobile, de la réalité augmentée et virtuelle, et de l'automatisation industrielle. En outre, la loi de Moore, largement acceptée, qui implique une réduction de la taille des transistors pour doubler les performances des puces environ tous les deux ans, est en train d'atteindre ses limites physiques et économiques. Cette limitation entraîne un ralentissement de la croissance de la puissance de calcul. En réponse, l'informatique neuromorphique, qui s'inspire du cerveau humain, est apparue comme une alternative prometteuse. Cette approche a fait des progrès notables ces dernières années grâce à sa conception économe en énergie. Elle fonctionne de manière unique en utilisant des caméras basées sur les événements lors de l'acquisition des données et en traitant les informations par le biais de réseaux neuronaux à pointes (SNN). Notre objectif est donc d'optimiser et d'améliorer l'efficacité énergétique pour résoudre les tâches de vision par ordinateur, en employant des SNN pour traiter les données des caméras basées sur les événements. Cependant, comme les caméras basées sur les images sont compatibles avec les algorithmes existants conçus pour les images denses (images RVB/gris) et capturent des informations importantes telles que des données textuelles, nous intégrons les deux types de caméras afin de maximiser leurs avantages combinés.

Artificial intelligence (AI) has become deeply integrated into our lives, revolutionizing industries, enhancing daily activities, and driving innovation across various fields. Achieving these high levels of performance, especially with methods based on deep neural networks, demands significant energy consumption. For instance, training a single neural network, such as ResNet, for one task requires approximately 4.3 GJ (1.2 MWh), equivalent to the energy consumption of a two-person apartment over 40 days (based on 30 kWh/day). Additionally, according to Forbes cite{Forbes}, ChatGPT consumes over 0.5 MWh of electricity daily, enough to handle around 200 million requests. This daily power usage is comparable to the consumption of 180,000 U.S. households, each using about 29 kWh. Beyond the ecological and environmental concerns, these high energy requirements limit AI applications to systems with substantial power budgets, restricting their use in embedded hardware with limited power capacities, such as those found in IoT, automotive, augmented and virtual reality, and industrial automation contexts. Furthermore, the widely accepted Moore's Law, which involves shrinking transistor sizes to double chip performance approximately every two years, is reaching its physical and economic limits. This limitation is causing a slowdown in the growth of computing power. In response, neuromorphic computing, drawing inspiration from the human brain, has emerged as a promising alternative. This approach has made notable strides in recent years due to its energy-efficient design. It operates uniquely by using event-based cameras during data acquisition and processing information through spiking neural networks (SNNs). Thus, our objective is to optimize and enhance energy efficiency to solve computer vision tasks, by employing SNN for processing event-based camera data. However, since frame-based cameras are compatible with existing algorithms designed for dense frames (RGB/grey-scale images) and capture important information like textual data, we integrate both types of cameras to maximize their combined benefits.