Compression des architectures et dedonnées basée sur les graph neuralnetworks

Architecture and data compression based on GraphNeural Networks

• Auteur / Autrice : Gabriele Spadaro
• Direction : Enzo Tartaglione
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 01/11/2022
• Etablissement(s) : Institut polytechnique de Paris en cotutelle avec Université de Turin
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Equipe de recherche : MM : MultiMédia

Mots clés

Mots clés libres

Compression

Graph neural networks

Efficacité

Reseaux neuronaux profonds

Compression

Graph neural networks

Efficiency

Deep neural networks

Résumé

Au cours des dernières années, les progrès de l'IA, et en particulier de l'apprentissage profond, ont complètement remodelé le panorama de plusieurs industries numériques. Alors que l'industrie du codage des l'industrie du codage des médias a été relativement lente à adopter le paradigme de l'IA, elle s'oriente de plus en plus vers des approches basées sur l'IA récemment. Les algorithmes de compression d'images visent à réduire la quantité de données nécessaires pour stocker ou transmettre une image, tout en conservant une qualité visuelle acceptable. Les réseaux de neurones convolutifs ont connu un grand succès dans ce domaine, mais ils ont des limites dans la modélisation des relations non locales entre les pixels. Les graph neural networks (GNN) sont une extension des réseaux de neurones convolutifs qui permettent de modéliser les relations non locales entre les pixels en utilisant des graphes. La compression des réseaux neuronaux, également connue sous le nom de compression de modèles, est aussi une discipline cruciale dans le domaine de l'apprentissage automatique. Elle vise à réduire la taille des modèles de réseaux neuronaux sans compromettre leur performance. Les algorithmes frugaux sont une catégorie importante dans ce domaine, car ils se concentrent sur l'efficacité en termes de mémoire et de calcul. Ces algorithmes utilisent diverses techniques telles que la quantification des poids, la compression de couches, la distillation de modèles, et plus encore, pour atteindre cet objectif. L'efficacité des algorithmes frugaux réside dans leur capacité à rendre les modèles plus légers et plus rapides, ce qui est essentiel pour le déploiement sur des appareils à ressources limitées tels que les smartphones et les objets connectés. En somme, la compression des réseaux neuronaux et les algorithmes frugaux jouent un rôle2 essentiel dans la mise en œuvre d'applications d'apprentissage automatique efficaces et accessibles, ouvrant ainsi la voie à un large éventail de domaines d'application.

In recent years, advances in AI, and deep learning in particular, have completely reshaped the panorama of several digital industries. While the media coding industry was relatively slow to adopt the AI paradigm, it has been moving increasingly towards AI-based approaches recently. Image compression algorithms aim to reduce the amount of data needed to store or transmit an image, while maintaining acceptable visual quality. Convolutional neural networks have been very successful in this field, but have limitations in modeling non-local relationships between pixels. Graph neural networks (GNNs) are an extension of convolutional neural networks, enabling non-local pixel relationships to be modeled using graphs. Neural network compression, also known as model ompression, is also a crucial discipline in the field of machine learning. It aims to reduce the size of neural network models without compromising their performance. Frugal algorithms are an important category in this field, as they focus on memory and computational efficiency. These algorithms use various techniques such as weight quantization, layer compression, pattern distillation and more to achieve this goal. The effectiveness of frugal algorithms lies in their ability to make models lighter and faster, which is essential for deployment on resource-constrained devices such as smartphones and connected objects. In short, neural network compression and frugal algorithms play an essential role in the implementation of efficient and accessible machine learning applications, opening the way to a wide range of application domains.