Zusammenfassung - Individueller, auf Algorithmen basierter Fehler-Toleranzmechanismus für Aufmerksamkeits-Schichten in Transformern

Individueller, auf Algorithmen basierter Fehler-Toleranzmechanismus für Aufmerksamkeits-Schichten in Transformern

2025-07-22 15:11:13

{"Vasileios Titopoulos","Kosmas Alexandridis","Giorgos Dimitrakopoulos"}

{cs.LG,cs.AR}

Der Artikel diskutiert eine neue Methode namens Flash-ABFT, die entwickelt wurde, um die Fehlerver容忍fähigkeit von Aufmerksamkeitslagen in auf Transformer basierenden tiefen Lernmodellen zu verbessern. Diese Methode adressiert eine erhebliche Herausforderung in aktuellen Hardwarebeschleunigern, die Aufmerksamkeitsmechanismen verwenden: die effiziente Erkennung von Fehlern durch zufällige Hardwarefehler. Transformers und große Sprachmodelle (LLMs), angetrieben durch das Aufmerksamkeitsmechanismus, haben zahlreiche AI-Anwendungen revolutioniert, was die Notwendigkeit spezieller Hardwarebeschleuniger erfordert. Allerdings stehen diese Beschleuniger vor Herausforderungen, wenn es darum geht, Fehler durch zufällige Hardwarefehler effizient zu erkennen. Traditionelle auf Algorithmen basierende Fehlerver容忍 (ABFT)-Techniken überprüfen individuelle Matrixmultiplikationen, aber sie reichen nicht aus, um die gesamte Aufmerksamkeitsmechanik zu handhaben, insbesondere aufgrund der intermediären Softmax-Normalisierung. Diese Arbeit schlägt Flash-ABFT vor, eine neue Methode, die eine Online-Prüfsumme über das gesamte dreifache Produkt aus den Matrixmultiplikationen der Query-, Key- und Value-Matrizen einer Aufmerksamkeitslage berechnet, einschließlich der Softmax-Operation, mit nur einer Überprüfung. Dieser Ansatz reduziert den Overhead erheblich, indem er redundante Überprüfungen eliminiert, während gleichzeitig eine hohe Fehlererkennungsgenauigkeit beibehalten wird. Flash-ABFT erreicht die folgenden Beiträge: 1. Es schlägt eine Methode vor, die Fehlerprüfung in einen Schritt integriert, indem es eine vorausgesagte Prüfsumme für die gesamte Aufmerksamkeitsoperation berechnet, einschließlich der Softmax-Normalisierung. Im Gegensatz zu traditionellen ABFT-Techniken, die jede Matrixmultiplikation separat überprüfen, ermöglicht dieser einheitliche Ansatz eine umfassendere und effizientere Fehlererkennung. 2. Es integriert diese gefügte Prüfsummenberechnung nahtlos in bestehende optimierte Hardwarebeschleuniger für Aufmerksamkeit, fügt online Fehlererkennung mit minimalen Overhead hinzu. Dies verbessert die Fehlerver容忍fähigkeit, während weniger als 1,9 % zusätzlicher Energiekosten verursacht werden, was es zu einer hoch effizienten und praktischen Erweiterung macht. 3. Es zeigt eine hohe Fehlererkennungsgenauigkeit mit minimalen Fehlalarmen, da der Überwachungsstatus im Vergleich zum Datapath der Beschleuniger klein ist. Die Bewertungsergebnisse zeigen, dass Flash-ABFT nur einen Overhead von 5,3 % im Hardwarebereich und weniger als 1,9 % im Energiebereich verursacht, was es zu einer kosteneffektiven und robusten Lösung für die Fehlererkennung in Aufmerksamkeitsbeschleunigern macht. Zusammenfassend lässt sich sagen, dass Flash-ABFT eine effiziente und genaue Lösung für die Fehlererkennung in Aufmerksamkeitslagen bietet und die Zuverlässigkeit und Leistung der Hardwarebeschleuniger, die für Transformers und LLMs verwendet werden, verbessert.