Résumé - Caractérisation des performances du modèle hybride de langage SSM-Transformer avec une longueur de contexte prolongée

Caractérisation des performances du modèle hybride de langage SSM-Transformer avec une longueur de contexte prolongée

2025-07-16 17:28:40

{"Saptarshi Mitra","Rachid Karami","Haocheng Xu","Sitao Huang","Hyoukjun Kwon"}

{cs.AR,cs.AI,cs.LG,cs.SY,eess.SY}

L'article explore les performances et l'utilisation de la mémoire des modèles d'espace d'état (MES) et des modèles hybrides, en particulier leur capacité à gérer des entrées à long contexte, sur les GPU consommateur et embarqués. Les auteurs soulignent les limitations des architectures traditionnelles de Transformer pour le traitement de séquences longues en raison de leur complexité quadratique et de leurs besoins en mémoire. Ils proposent que les MES offrent une alternative prometteuse avec une escalade linéaire, capable de traiter des séquences jusqu'à 220K tokens sur un GPU consommateur de 24 Go. L'étude inclut une analyse comparative complète de Transformer, MES et modèles hybrides, en analysant leurs performances sur des GPUs consommateur de haut niveau et des plateformes embarquées à consommation d'énergie limitée. Les résultats révèlent que les MES surpassent les Transformer en termes de traitement de séquences longues, devenant jusqu'à 4 fois plus rapides pour des contextes très longs. Les auteurs enquêtent également sur la latence et l'empreinte mémoire de différents modèles, identifiant les goulets d'étranglement de performance et les contributions au niveau des opérateurs. Ils ont constaté que les noyaux MES personnalisés et informés par le matériel dominent le temps d'inference, représentant plus de 55% de la latence sur les plateformes de bord. L'étude met en lumière les avantages des MES pour l'inference à long contexte sur les GPU consommateur et embarqués, offrant une alternative plus efficace et scalable aux modèles Transformer traditionnels.