Reconnaissance par caméra événementielle pour le transport intelligent : CNN vs SNN

Recognition by event-based camera for intelligent transportation : CNN vs SNN

• Auteur / Autrice : Djessy Rossi
• Direction : Pascal Vasseur, Fabio Morbidi
• Type : Projet de thèse
• Discipline(s) : Sciences pour l'Ingénieur Vision par Ordinateur-25DSI9
• Date : Inscription en doctorat le 17/10/2022
• Etablissement(s) : Amiens
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Modélisation, Information et Systèmes (Amiens ; 2008-....)

Mots clés

Mots clés libres

Vision événementielle

Cnn/snn

Intelligence artificielle

Cnn/snn

Event-based vision

Artificial Intelligence

Résumé

Les techniques d'apprentissage profond basées sur des réseaux convolutifs sont aujourd'hui de formidables outils pour accomplir des tâches de très haut niveau en vision par ordinateur. Néanmoins, elles restent peu efficaces dans le cas des caméras évènementielles puisque les filtres convolutifs ne sont pas nécessairement adaptés à ce type de caméras par la nature même de l'acquisition. En effet, le filtrage convolutif suggère une interdépendance spatiale entre les pixels voisins qui n'est pas vérifiée sur ces images et nécessite donc des calculs très couteux en temps de calcul alors que peu de pixels sont activés. C'est pourquoi cette thèse a pour objectif de revisiter les approches d'apprentissage profond pour des problématiques de reconnaissances d'objets et/ou lieux tout en tirant partie de la spécificité de ces images. La littérature présente de nombreux travaux sur les caméras évènementielles basées sur des techniques d'apprentissage profond [1]. Étant donné que les images évènementielles ne peuvent être traitées par des filtres convolutifs spatiaux comme des images classiques, les auteurs proposent deux représentations souvent antinomiques. La première consiste à représenter une série d'images évènementielles en un bloc 3D sur lequel les approches convolutives CNN peuvent s'adapter [2]. Les secondes consistent à utiliser d'autres outils d'apprentissage profond plus adaptés au type de données acquises par ces capteurs : les SNN (Spiking Neural Networks) - réseau de neurones à impulsions [3]. L'un des inconvénients potentiels des CNN est leur coût de calcul, ce qui les rend incompatibles avec la faible puissance et la faible latence naturelles des caméras évènementielles. Au contraire, les réseaux de neurones à impulsions SNN sont théoriquement plus efficaces en termes de consommation d'énergie et de temps de calcul, mais la réalisation de ces gains nécessite des algorithmes et du matériel spécialisés. De plus, leur caractère binaire et discontinue ne permet pas de développer des techniques basées sur des descentes de gradient pour la recherche d'optimum dans la phase d'apprentissage. L'objet de cette thèse sera tout d'abord d'évaluer dans quelles mesures les inconvénients et avantages des deux approches ont un impact dans des architectures neuronales pour la reconnaissance d'objets et de lieux. Ainsi nous reprendrons les algorithmes de la littérature et nous analyserons les limites de chacun dans l'application visée ici. Ces méthodes seront la base de références pour le développement de nouveaux algorithmes et architectures permettant d'allier les avantages des deux approches tout en cherchant à minimiser leurs défauts respectifs.

Deep learning techniques based on convolutional networks are now mature tools for performing very high-level tasks in computer vision. Nevertheless, they remain inefficient in the case of event cameras since convolutional filters are not necessarily adapted to this type of camera by the nature itself of the acquisition. Indeed, the convolutional filtering suggests a spatial interdependence between the neighboring pixels which is not verified on these images and therefore requires calculations that are very costly in terms of computation time when few pixels are activated. This is why this thesis aims to revisit deep learning approaches for object and/or place recognition issues while taking advantage of the specificity of these images. The literature presents many works on event cameras based on deep learning techniques [1]. Given that event images cannot be processed by spatial convolutional filters like classical images, the authors propose two often contradictory representations. The first one consists in representing series of event images in a 3D block on which convolutional CNN approaches can be adapted [2]. The second consists of using other deep learning tools more suited to the type of data acquired by these sensors: SNNs (Spiking Neural Networks) [3]. One of the potential drawbacks of CNNs is their computational cost, which makes them incompatible with the natural low power and low latency of event cameras. On the contrary, SNN spiking neural networks are theoretically more efficient in terms of power consumption and computation time, but achieving these gains requires specialized algorithms and hardware. Moreover, their binary and discontinuous nature does not allow the development of techniques based on gradient descents for the search for optimum in the learning phase. The purpose of this thesis will first be to assess to what extent the disadvantages and advantages of the two approaches have an impact in neural architectures for the recognition of objects and places. Thus, we will use the algorithms from the literature and we will analyze the limits of each in the application targeted here. These methods will be the reference base for the development of new algorithms and architectures allowing to combine the advantages of the two approaches while seeking to minimize their respective shortcomings.