概要 - エッジでTransformerを加速するための超低消費電力CGRA

エッジでTransformerを加速するための超低消費電力CGRA

2025-07-17 08:43:14

{"Rohit Prasad"}

{cs.AR,cs.AI}

この論文では、エッジ計算環境でトランスフォーマモデルを加速させるために特別に設計された超低電力の粗粒度可変配列（CGRA）アーキテクチャを提案しています。自然言語処理やコンピュータビジョンなどのタスクに不可欠なトランスフォーマは、低電力デバイスで高計算負荷を満たすことが難しいです。提案されたCGRAは、非常に効率的で適応性のある解決策を提供することで、この課題を解決します。 このアーキテクチャは、トランスフォーマモデルに不可欠な一般的な行列乗法（GEMM）演算を並列に計算するために最適化された4x4の処理要素（PE）配列を特徴としています。さらに、最適化された読み書き演算のための専用の4x2メモリ演算ブロック（MOB）配列を統合し、メモリ帯域幅の要求を大幅に削減し、データの再利用を向上させます。 提案されたCGRAアーキテクチャの主要な特徴と利点は以下の通りです： 1. 異種配列設計：4x4のPE配列と4x2のMOB配列を組み合わせることで、GEMM計算における高い並列性を実現し、データの移動とメモリアクセスの遅延を低減します。 2. スイッチレスメッシュトーラスインターコネクト：このユニークな機能は、中央集中スイッチの必要性を排除し、PEとMOB間の直接通信を可能にします。これにより、電力消費と遅延が削減され、低電力エッジデバイスにとって重要です。 3. 電力効率：提案されたCGRAは超低電力消費（1mWを超える）と高い計算効率を達成し、バッテリー駆動のエッジデバイスでトランスフォーマモデルを実行するのに適しています。 4. 最適化されたトランスフォーマワークロード：このアーキテクチャは、並列化と効率的なメモリ管理を通じて、注目メカニズムやフィードフォワードレイヤーを含むトランスフォーマワークロードを加速させるために特別に最適化されています。 5. スケーラビリティ：CGRAアーキテクチャはスケーラブルであり、他の機械学習タスクに適応できるため、将来のエッジAIアプリケーションに対する多様な解決策を提供します。 全体的に、提案された超低電力CGRAアーキテクチャは、エッジ計算環境でトランスフォーマモデルを加速させるための有望な解決策を提供します。高計算効率と低電力消費、適応性を組み合わせることで、トランスフォーマモデルの計算課題を解決し、低電力エッジデバイス上で高度な機械学習機能の展開を可能にします。この研究は、超低電力CGRA設計のさらなる探索を基礎付け、高度なAI処理を実行できる知能型、自律型エッジデバイスの進化をサポートします。