概要 - 記述の連鎖: VHDLコード生成と要約のためのコードLLMsの向上

記述の連鎖: VHDLコード生成と要約のためのコードLLMsの向上

2025-07-16 15:05:30

{"Prashanth Vijayaraghavan","Apoorva Nitsure","Charles Mackin","Luyao Shi","Stefano Ambrogio","Arvind Haran","Viresh Paruthi","Ali Elzein","Dan Coops","David Beymer","Tyler Baldwin","Ehsan Degan"}

{cs.CL,cs.AI,cs.AR}

この論文は、既存の大規模言語モデル（LLM）がVHDLコードの生成と要約を行う際の限界を調査し、これらの課題を解決するための新しいアプローチとして「説明の連鎖（Chain-of-Descriptions、CoDes）」を提案しています。 著者たちは、LLMがコード生成や要約などの分野で人気を博していることを強調していますが、特にVHDLなどのハードウェア記述言語（HDL）に関する評価と改善に焦点を当てた研究が限られていることを指摘しています。このギャップが、既存のLLMがVHDLの独自の課題に対処する効果を阻んでいます。 これに対処するために、著者たちはVHDLコード生成と要約のための既存のコードLLMのパフォーマンスを、さまざまな指標と2つのデータセット（VHDL-EvalとVHDL-Xform）を使用して評価しました。彼らは、これらのモデルがさまざまな指標で一貫して低性能であることを発見し、この分野における適合性に大きなギャップがあることを示しています。 この課題に対処するために、著者たちはCoDes戦略を提案しました。CoDesは、コード生成のための問題文とVHDLコードの要約のためのVHDLコードに基づいて中間の説明ステップを生成し、これらのステップを元の入力プロンプトと統合して、最終出力を生成するLLMに提供します。 著者たちはさまざまなLLMを使用して実験を行い、CoDesフレームワークがVHDLコード生成と要約を大幅に向上させることを示しました。中間の説明ステップの導入により、モデルがVHDLコードを生成し要約する能力が向上しました。 また、著者たちは異なる実行計画戦略（単ステップ対多ステップ）がコード生成と要約におけるLLMのパフォーマンスにどのように影響するかを調査しました。彼らは、多ステップ実行が両方のタスクにおいて単ステップアプローチを上回ることを発見しました。 著者たちは、CoDesフレームワークが詳細かつ体系的な問題解決手法を必要とする分野に適用可能な構造化された手法を提供すると結論付けました。この研究を通じて、彼らはコードLLMの機能を向上させ、電子設計自動化やそれを超えた分野におけるより効果的なツールとすることを目指しています。 この論文の主要な貢献は以下の通りです： 1. VHDL-Xformデータセットの導入（機能的に同等なコードの多様なコードクローンを含み、LLMの機能的同等コードの理解を評価するため）。 2. VHDL-EvalとVHDL-Xformデータセットを使用して、VHDLコード生成と要約のためのさまざまなLLMのゼロショット評価。 3. Chain-of-Descriptions（CoDes）戦略の調査を通じて、LLMがVHDLコード生成と要約におけるパフォーマンスを向上させるための研究の基準を確立。