Compression de données pour circuits d'accélération matérielle hautes performances

Data compression for high-performance hardware acceleration circuits

• Auteur / Autrice : Olivier Romane
• Direction : Frédéric Petrot
• Type : Projet de thèse
• Discipline(s) : Mathématiques et Informatique
• Date : Inscription en doctorat le 04/03/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Techniques de l'Informatique et de la Microélectronique pour l'Architecture des systèmes intégrés
• Partenaire(s) de recherche : Equipe de recherche : SLS - System Level Synthesis (Olivier MULLER)

Mots clés

Mots clés libres

Réseaux de neurones

Compression de données

Accélération matérielle

Neural networks

Data compression

Hardware acceleration

Résumé

Les réseaux de neurones consistent le plus souvent à effectuer un grand nombre de multiplications matrice-vecteur et matrice-matrice. La conception de circuits d'accélération matérielle pour les réseaux de neurones s'intéresse donc principalement à l'accélération de ces opérations matricielles. Les matrices considérées sont souvent de grande taille, chacune avec des millions voire dizaines de millions de paramètres. La taille des mémoires de paramètres et la bande passante effectivement disponible avec les unités de calcul sont des paramètres de conception de première importance. Il a déjà été proposé de compresser les paramètres en mémoire afin de réduire les besoins en taille de mémoire et en bande passante. Cela exploite généralement la proportion de paramètres nuls (sparsité) dans le contenu des matrices de paramètres. L'inconvénient est que des opérations de décompressions doivent nécessairement être effectuées sur le flux de données qui alimente les cœurs de calcul. Et les méthodes de compression qui présentent un facteur de compression élevé impliquent des opérations fortement séquentielles et un flot de contrôle complexe. Les performances du circuit accélérateur global deviennent limitées par la vitesse à laquelle les flux de données peuvent effectivement être décompressés. D'autres directions ont été étudiées, avec pour objectif premier de maintenir les débits de données à des valeurs élevées, mais au prix de taux de compression plus faibles. Des travaux précédents ont étudié la compression des valeurs ternaires, mais d'autres types de quantification sont envisagées. De plus, les réseaux de neurones sont de façon inhérente résilients à de légères erreurs de calcul. Cette propriété pourrait être exploitée afin de concevoir des types de compression avec de meilleurs taux de compression. L'objectif du doctorat est de concevoir des techniques de compression/décompression de faible complexité et qui affectent le moins possible les performances de transferts de données.

Neural networks usually consist in performing a large number of matrix-vector and matrix-matrix multiplications. The design of hardware acceleration circuits for neural networks is thus mainly directed towards acceleration of these matrix operations. Considered matrices are often of great size, each with millions or tens of millions of parameters. The size of the memories of parameters and the actual throughput that is available for the computing units are design parameters of paramount importance. It has already been proposed to compress the parameters in memory in order to reduce the needs both in terms of size and of throughput. This generally takes advantage of the proportion of null parameters (the sparsity) within the contents of the matrices of parameters. The drawback is that decompression operations have to be performed on the streams of data that feed the computing cores. And the compression methods that present a high compression ratio involve highly sequential operations and a complex control flow. The performance of the overall accelerator circuit are then limited by the speed at which the streams of data can effectively be decompressed. Other directions have been studied, with primary objective to maintain data throughput at high levels, but at the price of lower compression rations. Previous works have studied compression of ternary values, but other types of compression are considered. Moreover, neural networks are inherently resilient against moderate computing errors. This property could be exploited to design compression types with better compression ratios. The objective of the PhD is to design low-complexity compression/decompression techniques that brings the least impact on performance of data transfers.