概要 - メグレズ2 技術報告
タイトル
メグレズ2 技術報告
時間
2025-07-23 17:43:07
著者
{"Boxun Li","Yadong Li","Zhiyuan Li","Congyi Liu","Weilin Liu","Guowei Niu","Zheyue Tan","Haiyang Xu","Zhuyu Yao","Tao Yuan","Dong Zhou","Yueqing Zhuang","Bo Zhao","Guohao Dai","Yu Wang"}
カテゴリ
{cs.CL}
リンク
http://arxiv.org/abs/2507.17728v1
PDF リンク
http://arxiv.org/pdf/2507.17728v1
概要
### メガレズ2とは
メガレズ2は、デバイス固有のデプロイメントに設計された革新的な言語モデルアーキテクチャです。メガレズ2は、効率と低コストを最適化しつつ、高精度を維持することで、リソース制限されたデバイス上での大規模言語モデルのデプロイメントに直面する課題を解決します。
### 主要な革新点：
* **層間専門家共有**：メガレズ2は、隣接するトランスフォーマー層間で専門家パラメータを共有するメカニズムを導入しました。専門家の再利用により、パラメータ総数を大幅に削減しつつ、アクティブ化されたパラメータの数を維持し、モデル性能を保ちます。
* **プレーゲートルーティング**：メガレズ2はメモリ効率の高い専門家のロードとより高速な推論を実現するプレーゲートルーティングを取り入れています。この技術により、モデルは選択された専門家のパラメータを事前にロードし、メモリ使用量を削減し、推論速度を向上させます。
* **メガレズ2-プレビュー**：メガレズ2アーキテクチャの最初のインスタンスであるメガレズ2-プレビューは、50兆トークンのコーパスで事前トレーニングされ、監督的微調整と確認可能な報酬を使用した強化学習で強化されています。
### 利点：
* **効率的なパラメータ設計**：メガレズ2は、より大きなモデルよりも大幅に少ないパラメータで競争力のある性能を達成します。例えば、メガレズ2-プレビューは、7Bと8Bのパラメータを持つモデルに比べて、わずか3Bのアクティブ化パラメータを使用して優れた性能を示しています。
* **高精度**：軽量な設計にもかかわらず、メガレズ2は言語理解、指示の実行、数学的な推論、コード生成などのさまざまなタスクで高精度を実現します。
* **スケーラビリティ**：メガレズ2は非常にスケーラブルで、さらなる改善と最適化の可能性があります。
* **リソース制限されたデバイスへの適合性**：メガレズ2の効率的なパラメータ設計とプレーゲートルーティングにより、リソース制限されたデバイスへのデプロイメントに適しています。
### 結論：
メガレズ2は、リソース制限されたデバイス上で大規模言語モデルをデプロイするための有望な解決策です。その革新的なアーキテクチャ、効率的なパラメータ設計、そして高精度は、特に計算リソースが限られた分野での実世界のアプリケーションにおいて、優れた候補となります。
推奨論文
「ボリューム成長変換を用いてRLゲームの層化空間構造を探求する」
明示的な符号記号エンコーダにより、省電力多倍器を実現可能します
RealBench：リアルワールドIPデザインを使用したVerilog生成モデルのベンチマーク評価
GENIAL: ネットワーク逆転を通じて低消費電力アルゴリズム論理ユニットの生成設計空間探索
「提案的帰納における断面説明の複雑さ」
エッジでTransformerを加速するための超低消費電力CGRA
細胞無しのマスive MIMOシステムにおけるハイブリッド量子卷積神経網補助のパイロットアサインメント
GEPA: 反映的なプルミプト進化が强化学習を超える可能性があります
スパarsity-Awareオートノマスパスプランニングアクセラレータとハードウェア/ソフトウェアコデザインおよび多レベルデータフローオプティマイゼーション
4T2R X-ReRAM CiMアレイ、変動容認型、低消費電力、大規模並列MAC操作用