Transformers pour une vision multimodale efficace des systèmes autonomes
| Auteur / Autrice : | Komi etse yvon Apedo |
| Direction : | Samia Bouchafa |
| Type : | Projet de thèse |
| Discipline(s) : | Sciences du traitement du signal et des images |
| Date : | Inscription en doctorat le 01/10/2025 |
| Etablissement(s) : | université Paris-Saclay |
| Ecole(s) doctorale(s) : | École doctorale Sciences et technologies de l'information et de la communication |
| Partenaire(s) de recherche : | Laboratoire : IBISC - Informatique, BioInformatique, Systèmes Complexes |
| Equipe de recherche : SIAM : Signal, Image, AutoMatique | |
| Référent : Faculté des sciences d'Orsay |
Mots clés
Résumé
Les transformer de vision (ViT) se sont révélés être des outils puissants pour le traitement et la compréhension des informations visuelles. Ils sont largement utilisés dans diverses tâches de vision par ordinateur, telles que la classification, la détection, la segmentation, le suivi, surpassant souvent les réseaux neuronaux convolutionnels traditionnels (CNN) en termes de précision. ViT a recours à un pipeline spécifique dans lequel l'image d'entrée est divisée en fragments plus petits appelés tokens. Une telle approche aide considérablement les algorithmes à comprendre le contexte visuel. Dans la pratique, la tokenisation et la sélection des embeddings sont des étapes cruciales pour les transformers. En effet, pour une image donnée, il n'existe pas d'approche unique de la tokenisation, car la méthode la plus appropriée peut varier en fonction des caractéristiques des données et de la tâche à accomplir. Les applications de pointe de la compréhension du langage à la prise de décision complexe, excellent grâce à l'utilisation de modèles multimodaux. Ces derniers combinent différents types de données, notamment des images 2D, des nuages de points 3D (LiDAR), du texte ou des données audio. Par conséquent, les ViT multimodaux tendent à surpasser leurs homologues unimodaux, car ils bénéficient d'un volume d'informations plus important. Plusieurs stratégies de fusion allant de la fusion précoce opérant au niveau de caractéristiques à la fusion tardive, en passant par de nombreuses approches intermédiaires ont été proposées. Les chercheurs étudient différentes techniques de fusion, à commencer par des opérations élémentaires telles que l'addition, jusqu'à des méthodes plus avancées basées sur l'attention ou l'attention croisée. Étant donné que chaque modalité possède des caractéristiques distinctes, une intégration transparente sans perte d'informations nécessite une collecte de données solide, des algorithmes efficaces et une infrastructure informatique scalable. La thèse proposée porte sur l'optimisation des ViT multimodaux, taillés pour des tâches de vision telles que la segmentation sémantique ou la détection d'objets sur des systèmes à ressources limitées. Dans ce travail de recherche, le terme multimodal se réfère spécifiquement à la fusion de diverses données visuelles telles que les images RGB, infrarouges, cartes de profondeur ou LiDAR, via des modèles de transformer. Il est important de noter que l'efficacité et l'adéquation du ViT peuvent être considérablement entravées par les complexités en termes de temps et de mémoire, qui augmentent de façon quadratique avec la longueur de la séquence d'entrée. Dans le contexte des données multimodales, la complexité des calculs augmente en raison du traitement simultané de représentations de grande dimension. L'objectif principal est donc d'accélérer la vitesse d'inférence tout en préservant la précision des ViTs multimodales sur les systèmes embarqués. Les systèmes embarqués posent des défis techniques spécifiques, notamment le stockage limité des données, la capacité de traitement et la consommation d'énergie, qui doivent tous être pris en compte dès la conception de l'algorithme. Deux aspects principaux seront examinés dans le cadre de cette étude : 1) le pruning des tokens pour identifier et supprimer dynamiquement les tokens non informatifs 2) la fusion de données multimodales, où les tokens peuvent être remplacés par des caractéristiques multimodales. Une nouvelle approche de la compression des transformers multimodaux de vision qui améliore leur efficacité est attendue. Par conséquent, l'identification de tokens informatifs pour la projection et la fusion multimodales, ainsi que les ajustements architecturaux possibles ou le réglage fin des paramètres d'optimisation, seront des domaines d'exploration approfondie. L'efficacité de la solution proposée sera démontrée par des expériences approfondies menées sur des cibles embarquées, notamment le NVIDIA Jetson AGX Orin.