Adéquation algorithme-architecture pour les réseaux de neurones à convolution : application à l'analyse de visages embarquée

Algorithm-architecture matching for convolutional neural network : application to embedded facial analysis

• Auteur / Autrice : Franck Mamalet
• Direction : Christophe Garcia
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/07/2011
• Etablissement(s) : Lyon, INSA
• Ecole(s) doctorale(s) : École doctorale InfoMaths (Lyon ; 2009-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'InfoRmatique en Images et Systèmes d'information (Ecully, Rhône ; 2003-....)
• Jury : Président / Présidente : Michel Paindavoine
• Jury : Examinateurs / Examinatrices : Christophe Garcia, Michel Paindavoine, Bertrand Granado, Bernadette Dorizzi, Eric Flamand, Atilla Baskurt
• Jury : Rapporteur / Rapporteuse : Bertrand Granado, Bernadette Dorizzi

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Vision par ordinateur

Mots clés libres

Informatique

Vision par ordinateur

Analyse de visages

Réseaux de neurones à convolution

Adéquation algorithme architecture

Architecture embarquée

Architecture parallèle

Apprentissage

Computer science

Computer vision

Facial analysis

Convolutional neural netword

Alogrithm architecture matching

Embedded architecture

Parallel architecture

Learning

Résumé

La prolifération des capteurs d'images dans de nombreux appareils électroniques, et l'évolution des capacités de traitements à proximité de ces capteurs ouvrent un champ d'exploration pour l'implantation et l'optimisation d'algorithmes complexes de traitement d'images afin de proposer des systèmes de vision artificielle embarquée. Ces travaux s'inscrivent dans la problématique dite d'adéquation algorithme-architecture (A3). Ils portent sur une classe d'algorithmes appelée réseau de neurones à convolutions (ConvNet) et ses applications en analyse de visages embarquée. La chaîne d'analyse de visages, introduite par Garcia et al., a été choisie d'une part pour ses performances en taux de détection/reconnaissance au niveau de l'état de l'art, et d'autre part pour son caractère homogène reposant sur des ConvNets. La première contribution de ces travaux porte sur une étude d'adéquation de cette chaîne d'analyse de visages aux processeurs embarqués. Nous proposons plusieurs adaptations algorithmiques des ConvNets, et montrons que celles-ci permettent d'obtenir des facteurs d'accélération importants (jusqu'à 700) sur un processeur embarqué pour mobile, sans dégradation des performances en taux de détection/reconnaissance. Nous présentons ensuite une étude des capacités de parallélisation des ConvNets, au travers des travaux de thèse de N. Farrugia. Une exploration ''gros-grain'' du parallélisme des ConvNets, suivie d'une étude de l'ordonnancement interne des processeurs élémentaires, conduisent à une architecture parallèle paramétrable, capable de détecter des visages à plus de 10 images VGA par seconde sur FPGA. Nous proposons enfin une extension de ces études à la phase d'apprentissage de ces réseaux de neurones. Nous étudions des restrictions de l'espace des hypothèses d'apprentissage, et montrons, sur un cas d'application, que les capacités d'apprentissage des ConvNets ne sont pas dégradées, et que le temps d'apprentissage peut être réduit jusqu'à un facteur cinq.

Proliferation of image sensors in many electronic devices, and increasing processing capabilities of such sensors, open a field of exploration for the implementation and optimization of complex image processing algorithms in order to provide embedded vision systems. This work is a contribution in the research domain of algorithm-architecture matching. It focuses on a class of algorithms called convolution neural network (ConvNet) and its applications in embedded facial analysis. The facial analysis framework, introduced by Garcia et al., was chosen for its state of the art performances in detection/recognition, and also for its homogeneity based on ConvNets. The first contribution of this work deals with an adequacy study of this facial analysis framework with embedded processors. We propose several algorithmic adaptations of ConvNets, and show that they can lead to significant speedup factors (up to 700) on an embedded processor for mobile phone, without performance degradation. We then present a study of ConvNets parallelization capabilities, through N. Farrugia's PhD work. A coarse-grain parallelism exploration of ConvNets, followed by study of internal scheduling of elementary processors, lead to a parameterized parallel architecture on FPGA, able to detect faces at more than 10 VGA frames per second. Finally, we propose an extension of these studies to the learning phase of neural networks. We analyze several hypothesis space restrictions for ConvNets, and show, on a case study, that classification rate performances are almost the same with a training time divided by up to five.