概要 - アイアンマン：プライバシープレスerving AIのための近メモリ処理を用いた忘却伝送拡張の加速

アイアンマン：プライバシープレスerving AIのための近メモリ処理を用いた忘却伝送拡張の加速

2025-07-22 09:35:59

{"Chenqi Lin","Kang Yang","Tianshi Xu","Ling Liang","Yufei Wang","Zhaohui Chen","Runsheng Wang","Mingyu Gao","Meng Li"}

{cs.AR}

この論文では、OT（忘却移行）の効率を大幅に向上させ、プライバシープレスervingマシンラーニング（PPML）フレームワーク全体の効率を向上させるために設計された新しいOTアクセラレータ「Ironman」を提案しています。著者たちは、現在のOTフレームワーク、特にSPCOTとLPN操作がCPU計算とメモリ帯域幅に過度に依存しているため、これが主なボトルネックであると観察しています。これに対処するために、Ironmanはメモリサイドのキャッシュとインデックスソートを備えた近メモリ処理（NMP）アーキテクチャを使用して、効果的なメモリ帯域幅を向上させ、遅延を減少させます。 Ironmanの主要な特徴は以下の通りです： - **ハードウェア認識のm-ary GGM Tree Expansion**：これは、ハードウェアアクセラレーションにとって重要なSPCOTの計算負荷を削減します。AES-NI命令を含むハードウェア環境と含まない環境の両方に適用できます。 - **NMPアーキテクチャ**：これは、メモリサイドのキャッシュとインデックスソートを使用して、LPN操作の効果的なメモリ帯域幅を向上させます。LPN操作は、不規則なメモリアクセスパターンのため、メモリ帯域幅に制約されています。 - **統一アーキテクチャ**：これは、OTEの送信者と受信者役割をサポートし、役割のスムーズな切り替えを可能にし、同じハードウェアを使用して送信者と受信者プロトコルの両方を実行できます。 - **レベル別並列性**：これは、アクティブレーンから取得されたデータ上で直接計算を行うことで、並列性を向上させ、遅延を減少させます。 論文では、IronmanがOTのスループットと全体のPPMLフレームワークの遅延を大幅に向上させることを示しています。具体的には： - **OTスループット**：Ironmanは、フルスレッドCPU実装に対して39.2～237.4倍のOTスループット向上を達成します。 - **PPMLフレームワークの遅延**：Ironmanは、CNNとTransformerモデルの両方に対して、エンドツーエンド遅延が2.1～3.4倍減少することを示します。 著者たちは、さまざまなPPMLフレームワークとモデルについての実験も行い、Ironmanが異なるシナリオで大きなパフォーマンス向上をもたらすことを示しました。これらの結果は、IronmanがOTを加速し、PPMLフレームワークの効率を向上させる効果を強調しています。