Compression automatique des réseaux de neurones profonds

Automatic Compression of Deep Neural Networks

• Auteur / Autrice : Arthur Benard
• Direction : Faiz Ben amar
• Type : Projet de thèse
• Discipline(s) : Robotique
• Date : Inscription en doctorat le 03/06/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des Systèmes Intelligents et de Robotique
• Partenaire(s) de recherche : Equipe de recherche : SYROCO - Systèmes Robotiques : Conception et Commande

Mots clés

Mots clés libres

Apprentissage machine

Réseaux de neurones

Compression

Apprentissage profond

Optimisation

Machine learning

Neural networks

Compression

Deep learning

Optimization

Résumé

La construction des réseaux de neurones est complexe nécessitant constamment une capacité calcul et de mémoire croissante. Le but de cette collaboration est d'exploiter les méthodes existantes de compression et d'en proposer de nouvelles permettant de mettre au point une plateforme générale qui pourra réduire automatiquement un modèle sans action extérieur de l'utilisateur. Nous pensons que l'exploitation de certaines stratégies inspirées du cerveau pourrait avoir le double avantage d'aider à la compacité et à obtenir une meilleure théorie des modèles. Le développement de notre méthode pourrait avoir de nombreux avantages. Tout d'abord, en réduisant la taille des modèles, nous facilitons leur déploiement sur des plateformes légères telles que les ordinateur personnels, les appareils mobiles, les systèmes embarqués et l'edge computing. En limitant la RAM nécessaire au fonctionnement d'un modèle, une utilisation efficace des ressources est permise qui induit un élargissement des possibilités d'application de l'intelligence artificielle. De plus, la compression des réseaux améliore la vitesse de réponse en réduisant le nombre d'opérations de calcul nécessaires. Cela permet une exécution plus rapide des modèles, favorisant les applications en temps réel telles que la reconnaissance vocale, la détection d'objets, la conduite autonome. Notre objectif est d'obtenir une compression des modèles de qualité sans compromettre la précision des prédictions. Les modèles peuvent être extrêmement volumineux sur le disque dur, surtout si plusieurs modèles sont stockés. La compression permet aussi de réduire la taille des modèles stockés sur disque dur, ce qui économise de l'espace de stockage sur les serveurs, les appareils et les plateformes de déploiement. Lorsque les réseaux sont compressés, ils peuvent hériter de la résistance au bruit et aux perturbations. En réduisant le nombre de paramètres, la compression peut aider à éliminer le surapprentissage et à améliorer la capacité du modèle à généraliser à de nouvelles données. En outre, un avantage non négligeable de la compression est la réduction de la consommation énergétique. Cela a un impact positif sur l'empreinte carbone de l'infrastructure de l'intelligence artificielle, contribuant ainsi à un développement technologique durable. Ce projet s'exécutera sous la codirection du Pr Faiz Ben Amar (ISIR) et du Dr Nizar Ouarti (ISIR) et sous la supervision en entreprise par Dr Mouna Ben Mabrouk (Sogeti - Capgemini), le tout en collaboration avec Sorbonne Université.

The construction of neural networks is complex, requiring constantly increasing computational and memory capacity. The goal of this collaboration is to leverage existing compression methods and propose new ones to develop a general platform that can automatically reduce a model's size without external user action. We believe that exploiting certain brain-inspired strategies could have the dual advantage of aiding in compactness and advancing model theory. The development of our method could yield numerous benefits. Firstly, by reducing model size, we facilitate deployment on lightweight platforms such as personal computers, mobile devices, embedded systems, and edge computing. By limiting the required RAM for model operation, efficient resource utilization is enabled, expanding the possibilities for AI applications. Additionally, network compression enhances response speed by reducing the number of necessary computational operations, enabling faster model execution, and supporting real-time applications such as speech recognition, object detection, and autonomous driving. Our aim is to achieve high-quality model compression without compromising prediction accuracy. Models can be extremely large on disk, especially when multiple models are stored. Compression also reduces the size of models stored on disk, saving storage space on servers, devices, and deployment platforms. Compressed networks can inherit noise and disturbance resistance. By reducing parameter count, compression can help mitigate overfitting and improve a model's ability to generalize to new data. Furthermore, a significant advantage of compression is reduced energy consumption, positively impacting the carbon footprint of AI infrastructure and contributing to sustainable technological development. This project will be co-supervised by Prof. Faiz Ben Amar (ISIR) and Dr. Nizar Ouarti (ISIR), with corporate supervision by Dr. Mouna Ben Mabrouk (Sogeti - Capgemini), in collaboration with Sorbonne University.