Resumen - Caracterización del Desempeño del Modelo de Espacio Estatal (SSM) y del Modelo de Lenguaje Híbrido SSM-Transformer con Longitud de Contexto Larga

Caracterización del Desempeño del Modelo de Espacio Estatal (SSM) y del Modelo de Lenguaje Híbrido SSM-Transformer con Longitud de Contexto Larga

2025-07-16 17:28:40

{"Saptarshi Mitra","Rachid Karami","Haocheng Xu","Sitao Huang","Hyoukjun Kwon"}

{cs.AR,cs.AI,cs.LG,cs.SY,eess.SY}

El documento explora el rendimiento y el uso de la memoria de los modelos de espacio de estados (SSM) y los modelos híbridos, especialmente su capacidad para manejar entradas de largo contexto, en GPUs de consumo y嵌入式. Los autores subrayan las limitaciones de las arquitecturas tradicionales de Transformer en el procesamiento de secuencias largas debido a su complejidad cuadrática y requisitos de memoria. Proponen que los SSM ofrecen una alternativa prometedora con una escalabilidad lineal, capaz de procesar secuencias de hasta 220K tokens en una GPU de consumo de 24GB. El estudio incluye una comparación exhaustiva de los modelos Transformer, SSM y híbridos, analizando su rendimiento tanto en GPUs de consumo de alto rendimiento como en plataformas嵌入式 con limitaciones de consumo de energía. Los resultados revelan que los SSM superan a los Transformers en términos de procesamiento de secuencias largas, volviéndose hasta 4 veces más rápidos en contextos muy largos. Los autores también investigan la latencia y la huella de memoria de diferentes modelos, identificando los cuellos de botella del rendimiento y las contribuciones a nivel de operador. Encontraron que los núcleos SSM personalizados y conscientes del hardware dominan el tiempo de inferencia, representando más del 55% de la latencia en plataformas de borde. El estudio destaca las ventajas de los SSM para la inferencia de largo contexto en GPUs de consumo y嵌入式, ofreciendo una alternativa más eficiente y escalable a los modelos Transformer tradicionales.