概要 - RealBench：リアルワールドIPデザインを使用したVerilog生成モデルのベンチマーク評価

RealBench：リアルワールドIPデザインを使用したVerilog生成モデルのベンチマーク評価

2025-07-22 03:29:23

{"Pengwei Jin","Di Huang","Chongxiao Li","Shuyao Cheng","Yang Zhao","Xinyao Zheng","Jiaguo Zhu","Shuyi Xing","Bohan Dou","Rui Zhang","Zidong Du","Qi Guo","Xing Hu"}

{cs.LG,cs.AR}

この記事では、現実の設計フローウークラフにおける大規模言語モデル（LLM）のパフォーマンスを評価するために設計された新しいVerilog生成ベンチマークであるRealBenchを紹介しています。既存のベンチマークは、よくタスクを単純化し、現実の設計の複雑さを捉えることができず、LLMの機能について不正確な評価に繋がります。RealBenchは、現実のワークフローよりも近いVerilogコーディングシナリオをシミュレートすることで、これらの限界を解決することを目指しています。 **RealBenchの主要な機能**： * **複雑で構造化された設計**：RealBenchには、AESエンコーダ／デコーダ、SDカードコントローラ、CPUコアなどのオープンソースIPコアからの設計が含まれており、これらの設計は多くのコードラインと複雑な階層構造を持ち、LLMのVerilog生成能力を挑戦します。 * **多様で詳細でフォーマットされた設計仕様**：仕様には詳細な機能説明、図、インターフェースや制約などの重要な実装詳細が含まれており、LLMが設計要件をよりよく理解し、正確なVerilogコードを生成することができます。 * **厳格な検証プロセス**：RealBenchは、100%のラインカバレッジを持つテストベンチと形式検証ワークフローを使用して、生成されたVerilogコードの正確性を確保します。 * **二層タスク**：RealBenchはモジュールレベルとシステムレベルの両方でタスクを提供し、LLMの機能を包括的に評価することができます。 **評価結果**： 著者たちはRealBenchでさまざまなLLMとエージェントを評価し、最も高いパフォーマンスを示すモデルでも現実の設計フローウークラフでの困難が見られました。例えば、現在の最も優れたモデルであるo1-previewは、モジュールレベルのタスクで13.3%のpass@1を達成し、システムレベルのタスクでは0%でした。 **主要な発見**： * 形式検証は結果の信頼性を確保するために必要です。 * LLMは複雑なタスク、特にサブモジュールインスタンス化やFSMを含むタスクで苦戦します。 * マルチモーダルLLMはテキストのみのモデルに対して潜在的な利点を示します。 * 簡単なデバッグエージェントは生成されたコードの正確性を向上させます。 **今後の研究の方向性**： * 大規模設計のためのより効率的な形式検証方法の開発。 * 複雑なタスクに対するより良い推論能力を持つLLMの開発。 * マルチモーダルLLMのVerilog生成のための可能性の探求。 * より良いデバッグエージェントの開発により生成されたコードの品質向上。 **全体として、RealBenchはVerilog生成におけるLLMのパフォーマンスを評価するための価値あるツールを提供し、現実の設計フローウークラフにおけるLLMの機能を向上させるためのさらなる研究が必要であることを示しています**。