概要 - トランスフォーマーにおける注目層のカスタムアルゴリズムに基づくフェイルトトレランス

トランスフォーマーにおける注目層のカスタムアルゴリズムに基づくフェイルトトレランス

2025-07-22 15:11:13

{"Vasileios Titopoulos","Kosmas Alexandridis","Giorgos Dimitrakopoulos"}

{cs.LG,cs.AR}

この記事では、トランスフォーマーに基づく深層学習モデルの注意層の故障容認性を向上させるための新しい方法「Flash-ABFT」について議論しています。この方法は、現在の注意機構を使用するハードウェアアクセラレータが直面する大きな課題である、ランダムなハードウェア故障によるエラーを効率的に検出することに対応しています。 注目機構を駆動するトランスフォーマーや大規模言語モデル（LLM）が、多くのAIアプリケーションを革新し、特別なハードウェアアクセラレータが必要となりました。しかし、これらのアクセラレータは、ランダムなハードウェア故障によるエラーを効率的に検出するという課題に直面しています。 従来のアルゴリズムに基づく故障容認技術（ABFT）は、個々の行列乗算を確認しますが、全体の注意機構を扱うには不足しており、特に中間のソフトマックス正規化の問題があります。この研究では、Flash-ABFTという新しい方法を提案し、注意層のクエリ、キー、値行列の3つの行列積全体にわたってオンラインチェックサムを計算し、単一のチェックでソフトマックス操作を含む全体の注意操作に応じています。このアプローチは、重複のチェックを排除しつつ、高い故障検出精度を維持することで、オーバーヘッドを大幅に削減します。 Flash-ABFTは以下の貢献を果たします： 1. 全体の注意操作、包括的なソフトマックス正規化を含む予測チェックサムを計算することで、エラーチェックを一歩にまとめる方法を提案します。従来のABFT技術が各行列乗算を個別にチェックするのとは異なり、この統一したアプローチはより包括的かつ効率的なエラー検出を可能にします。 2. この統合されたチェックサム計算を既存の最適化された注意アクセラレータに無缝に統合し、オンラインエラー検出を最小のオーバーヘッドで追加します。これにより、故障容認性が向上し、1.9%未満のエネルギーコスト増加で、非常に効率的かつ実用的な向上が達成されます。 3. 検出状態のサイズがアクセラレータのデータパスに対して非常に小さいため、非常に高い故障検出精度とほとんどの誤警報を最小限に抑えることができます。 評価結果によると、Flash-ABFTはわずか5.3%のハードウェアエリアオーバーヘッドと1.9%未満のエネルギーオーバーヘッドを引き起こし、注意アクセラレータのエラー検出に対するコスト効果の高い堅牢なソリューションです。 要するに、Flash-ABFTは注意層のエラー検出に対する効率的かつ正確な解決策を提供し、トランスフォーマーやLLM用のハードウェアアクセラレータの信頼性と性能を向上させます。