Convolutional neural networks pruning and its application to embedded vision systems

par Hugo Tessier

Thèse de doctorat en Signal, image et vision

Sous la direction de Vincent Gripon et de Matthieu Arzel.

Soutenue le 09-02-2023

à l'Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire , dans le cadre de École doctorale Sciences pour l'ingénieur et le numérique , en partenariat avec Equipe Better Representations for Artificial Intelligence (laboratoire) , Département Mathematical and Electrical Engineering (laboratoire) , Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance (laboratoire) et de Stellantis (entreprise) .

Le président du jury était Eva Dokladalova.

Le jury était composé de Vincent Gripon, Matthieu Arzel, Damien Querlioz, Stefan Duffner, Thomas Hannagan.

Les rapporteurs étaient Damien Querlioz, Stefan Duffner.

mots clés

• Vision par ordinateur
• Apprentissage profond
• Compression
• Élagage
• Vision par ordinateur
• Apprentissage profond
• Données -- Compression (informatique)
• Systèmes embarqués (informatique)

Titre traduit

Élagage de réseaux de neurones convolutifs et son application aux systèmes embarqués de vision par ordinateur

Résumé

A l’état de l’art dans de nombreux domaines tels que la vision par ordinateur, les réseaux à convolution sont devenus indispensables pour de nombreux types d'applications industrielles, comme la conception de véhicules autonomes – qui est l’une des ambitions de Stellantis. Toutefois, les réseaux de neurones peuvent présenter une grande complexité algorithmique, couplée à une importante empreinte mémoire, ce qui les rend potentiellement inutilisables sur le type de matériel embarqué que l’on peut trouver dans ces véhicules. Afin de réduire cette complexité, tout en conservant la performance d’origine le domaine de la compression de réseaux de neurones a proposé plusieurs types de méthodes, comme l’élagage qui vise à simplifier les réseaux en retirant des parties jugées inutiles. Cependant, derrière ce principe simple se cache en réalité de nombreuses considérations beaucoup plus subtiles ayant chacune de lourdes implications sur l’efficacité d’une telle méthode. Afin de mettre au clair toute la complexité insoupçonnée de l’élagage et de répondre à la question de son efficacité réelle, ce manuscrit aborde chaque aspect de la méthode de façon thématique et en discute à la fois les fondements théoriques et les conséquences pratiques. Il détaille également les implications académiques et industrielles de plusieurs contributions de cette thèse, portant notamment sur la suppression de paramètres, les interdépendances entre couches et l’efficacité énergétique des réseaux élagués.

mots clés

• Computer Vision
• Deep Learning
• Compression
• Pruning

Résumé

Being at the state of the art in many domains, such as computer vision, convolutional neural networks became a staple for many industrial applications, such as autonomous vehicles—about which Stellantis have ambitions. However, neural networks can bear a great algorithmic complexity, as well as a large memory footprint, which makes them potentially unusable on embedded hardware such as those equipped on such vehicles. In order to reduce this complexity, while keeping the performance that said complexity is supposed to enable, the domain of neural networks compression proposed multiple families of methods, such as pruning that aims at simplifying networks by removing parts deemed unnecessary. Yet, the apparent simplicity of this principle actually hides many subtle implications that have a decisive impact on the efficiency of pruning. In order to clarify the unsuspected complexity of this method and to answer the question of its true efficiency, this manuscript tackles thematically each aspect of pruning and discusses both its theoretical foundations and its practical consequences. It also details the academical and industrial implications of various original contributions of this thesis about parameters supression, layers interdependencies and the energetic efficiency of pruned networks.