Zusammenfassung - Beschreibung der Leistung von Hybriden Sprachmodellen basierend auf dem Zustandsraummodell (SSM) und dem SSM-Transformer mit langer Kontextlänge

Beschreibung der Leistung von Hybriden Sprachmodellen basierend auf dem Zustandsraummodell (SSM) und dem SSM-Transformer mit langer Kontextlänge

2025-07-16 17:28:40

{"Saptarshi Mitra","Rachid Karami","Haocheng Xu","Sitao Huang","Hyoukjun Kwon"}

{cs.AR,cs.AI,cs.LG,cs.SY,eess.SY}

Das Papier untersucht die Leistung und den Speicherverbrauch von Zustandsraummustern (SSMs) und Hybridmodellen, insbesondere ihre Fähigkeit, lange Kontexte zu verarbeiten, auf Consumer- und Embedded-GPUs. Die Autoren betonen die Einschränkungen traditioneller Transformer-Architekturen bei der Verarbeitung langer Sequenzen aufgrund ihrer quadratischen Komplexität und Speicheranforderungen. Sie schlagen vor, dass SSMs eine vielversprechende Alternative mit linearer Skalierung bieten, in der Lage sind, Sequenzen bis zu 220K Token auf einer 24GB Consumer-GPU zu verarbeiten. Die Studie umfasst eine umfassende Benchmarking von Transformer, SSM und Hybridmodellen, die ihre Leistung sowohl auf High-End Consumer-GPUs als auch auf leistungseingeschränkte Embedded-Plattformen analysiert. Die Ergebnisse zeigen, dass SSMs im Vergleich zu Transformers bei der Verarbeitung langer Sequenzen überlegen sind und sich bei sehr langen Kontexten bis zu 4-mal schneller erweisen. Die Autoren untersuchen ebenfalls die Latenz und den Speicherverbrauch verschiedener Modelle, identifizieren die Performance-Schwachstellen und Beiträge auf Operator-Ebene. Sie fanden heraus, dass maßgeschneiderte, hardwarebewusste SSM-Kerne den Inference-Betriebs dominieren, was über 55% der Latenz auf Edge-Plattformen ausmacht. Die Studie hebt die Vorteile von SSMs für lange Kontextinferenzen auf Consumer- und Embedded-GPUs hervor, bietet eine effizientere und skalierbarere Alternative zu traditionellen Transformer-Modellen.