Transformers efficaces pour la reconnaissance visuelle.

Data-efficient and computation-efficient transformers for visual recognition.

• Auteur / Autrice : Imad eddine Marouf
• Direction : Stéphane Lathuiliere, Enzo Tartaglione
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 17/10/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Equipe de recherche : MM : MultiMédia

Mots clés

Mots clés libres

Vision par ordinateur

Interpretabilité

Efficient deep learning

Apprentissage profond

Transfer learning

Transformers

Computer vision

Deep learning

Transformers

Interpretability

Efficient deep learning

Transfer learning

Résumé

Ces dernières années, les réseaux de neurones profonds ont permis de réaliser des progrès considérables dans le domaine de la compréhension des scènes visuelles, ce qui a conduit à des résultats remarquables dans des tâches telles que la reconnaissance d'objets, la segmentation d'instances, l'estimation de la profondeur, et beaucoup plus. Ces progrès peuvent être attribués non seulement à la grande disponibilité d'ensembles de données, mais aussi à la conception d'architectures profondes spécialisées, qui nécessitent de puissantes ressources de calcul. Alors que les architectures basées sur des couches convolutionnelles sont utilisées dans la plupart des méthodes, ces dernières années nous avons assisté au développement d'architectures basées sur les “Transformers” [1,2,3,8,9,10,11]. Les transformers adoptent le mécanisme d'auto-attention, qui apprend la représentation d'image en pondérant l'importance de chaque partie des données, d'une manière différentiable. Si les transformers ont amélioré de manière significative les performances des modèles profonds sur plusieurs tâches, leur développement soulève trois questions principales : Contrairement aux réseaux de neurones convolutionnels, les transformers n'utilisent pas la nature 2D des images dans leur conception. Par conséquent, pour apprendre des représentations d'images riches, ils ont besoin de grands ensembles d'entraînement à compensation de leur grande flexibilité. Une solution à ce problème consiste à utiliser des modèles pré-entraînés sur un grand ensemble de données afin de transférer à la tâche cible leurs connaissances acquises. Le transfert de connaissances peut être réalisé à l'aide d'une simple stratégie de “finetuning” des paramètres, mais des solutions plus efficaces en termes de données peuvent être conçues spécifiquement pour les transformers. Les transformers souffrent de coûts de calcul élevés, tant pour l'entraînement que pour le test. Alors que des stratégies de sparsification ont été proposées avec succès pour les architectures convolutionnelles, le cas des transformers reste largement inexploré. Le nombre élevé de paramètres rend les transformers difficiles à interpréter. Dans de nombreuses applications, l'utilisateur a besoin d'algorithmes plus interpretables que des boîtes noires afin de comprendre les caractéristiques utilisées par le réseau pour la prédiction.

Deep neural networks have brought amazing progress in visual scene understanding in the past few years, leading to remarkable results in tasks such as object recognition, instance segmentation, depth estimation, and many more. These advances can be ascribed not only to the availability of large-scale datasets but also to the design of specialized deep architectures that require powerful computational resources. While architectures based on convolutional layers were used in most state-of-the-art methods, in the last years, we have witnessed the development of architectures based on transformers [1,2,3,8,9,10,11]. Transformers adopt the mechanism of self-attention that learns image representation by weighting the significance of each part of the input data in a differentiable manner. While transformer improved significantly the performance of deep models on several tasks, their development raises three main questions: Unlike convolution neural networks, transformers do not leverage the 2D nature of images in their design. Therefore, to learn rich image representations, they require large training sets to compensate for their higher flexibility. A common solution to this problem consists in using models pre-trained on a large dataset in order to transfer their acquired knowledge to the target task. Knowledge transfer can be achieved using a simple fine-tuning strategy but solutions more data-efficient can be designed specifically for transformers. Transformers suffer from high computational costs at both training and test. While sparsification strategies have been successfully proposed for convolutional architectures, the case of transformers remains largely unexplored. Finally, the high number of parameters makes transformers hard to interpret. In many applications, the user needs to go beyond black-box algorithms and understand the features that were used by the network for prediction.