概要 - RailX：超スケールLLMトレーニングシステムのための柔軟で拡張可能で低コストなネットワークアーキテクチャ

RailX：超スケールLLMトレーニングシステムのための柔軟で拡張可能で低コストなネットワークアーキテクチャ

2025-07-25 02:16:08

{"Yinxiao Feng","Tiancheng Chen","Yuchen Wei","Siyuan Shen","Shiju Wang","Wei Li","Kaisheng Ma","Torsten Hoefler"}

{cs.AR,cs.DC,cs.NI}

この論文は、特に超大規模なLLMトレーニングシステムに対する大規模AIワークロードのスケーリングの課題を解決するための新しいネットワークアーキテクチャであるRailXを提案しています。伝統的なネットワークアーキテクチャ、例えばFat-TreeやTorusは、これらのワークロードに対して必要なスケーラビリティや柔軟性に欠けているか、またはコストが高すぎます。 **RailXの主要な機能**： * **リコンフィギュラブルネットワークアーキテクチャ**：RailXはノード間の直接接続とノード間の回路切り替えを使用し、既存の集中型回路切り替えネットワークよりも良いスケーラビリティを実現します。 * **新しいインターコネクション方法**：ハミルトニアン分解理論に基づき、RailXは個別のレールベースのリングを全対全トポロジに構成し、リングコレクティブと全対全通信の両方を最適化します。 * **コスト効果**：RailXはフラットなスイッチングレイヤを使用して、1.8TBのバンド幅で10万以上のチップを接続でき、伝統的なFat-Treeよりも大幅に低いコストで実現可能です。 * **柔軟でスケーラブル**：RailXはMLaaSシナリオで使用され、多様なLLMトレーニングワークロードの柔軟なマッピングと効率的なフェイルオーバーリカバリを実現します。 **RailXの利点**： * **高いスケーラビリティ**：RailXは数万のチップを持つ大規模システムをサポートし、超大規模なLLMトレーニングに適しています。 * **コスト効果**：RailXは伝統的なFat-Treeよりも、注入/全減少バンド幅、および二分バンド幅/全対全バンド幅あたりのコストが低いです。 * **柔軟性**：RailXはトーラス、HyperX、ドラゴンフライなどのさまざまなネットワークトポロジをサポートするように設定できます、異なるワークロードに対する柔軟性を提供します。 * **信頼性**：RailXは光回路スイッチ（OCS）を使用して失敗したノードを迂回することで、効率的にフェイルを処理できます。 **RailXの適用**： * **超大規模なLLMトレーニング**：RailXは高次元並列とミックス並列戦略を持つ大規模なLLMのトレーニングに非常に適しています。 * **MLaaS**：RailXはMLaaSシナリオで使用され、多様なトレーニングワークロードをサポートし、リソースを効率的に利用します。 **既存ネットワークとの比較**： * **Fat-Tree**：RailXは類似のバンド幅を提供しますが、大幅に低いコストで実現可能です。 * **Torus**：RailXは特に高次元並列ワークロードに対して、より良い二分バンド幅とスケーラビリティを提供します。 * **HammingMesh**：RailXはHammingMeshよりも高いスケーラビリティと高い全減少スループットを実現します。 **結論**： RailXは超大規模なLLMトレーニングや他の大規模AIワークロードをサポートするための有望なネットワークアーキテクチャです。その独自のデザインは高いスケーラビリティ、コスト効果、柔軟性、そして信頼性を提供し、今後のデータセンターとAIインフラの選択肢として魅力的です。