概要 - 自然言語プロンプトから生成されたLLMコードの形式確認への進展

自然言語プロンプトから生成されたLLMコードの形式確認への進展

2025-07-17 16:54:42

{"Aaron Councilman","David Fu","Aryan Gupta","Chengxiao Wang","David Grove","Yu-Xiong Wang","Vikram Adve"}

{cs.PL,cs.AI}

以下は、提出された英文の日本語訳です： ### ペーパーの提案 この論文は、自然言語記述から生成された大規模言語モデル（LLM）のコードの正確性を確認するためのシステム「Astrogator」を提案しています。目標は、正確性の形式担保を提供し、AIコードアシスタントの使用体験を向上させ、プログラミングの知識が少ないまたは全くないユーザーに対して自然言語プログラミングを実現することです。 ### キー・ポイント： * **課題**：LLMはしばしばユーザーが検出しにくい誤ったコードを生成します。これは自然言語プログラミングとAIコードアシスタントの設定において重要な問題です。 * **解決策**：Astrogatorはユーザーの意図を表現する形式 query 言語を取り入れ、LLMが生成したコードをそれに対して検証します。 * **形式 query 言語**：この言語は自然言語の構文に近く、正確に定義されています。高次概念と知識ベースを使用して曖昧さを避けます。 * **検証**：Astrogatorはシンボリックインタープレテーションとカリキュラスを使用してAnsibleプログラムの動作を表現し、その正確性を検証します。 * **評価**：21のコード生成タスクのベンチマークセットにおいて、Astrogatorは83%のケースで正しいコードを検証し、92%のケースで誤ったコードを特定しました。 ### キー・貢献： 1. **自然言語プログラミングの形式化**：自然言語プログラミングと正確性のための形式フレームワークを定義します。 2. **形式 query 言語**：ユーザーの意図を捉え、検証を促進する形式 query 言語を提案します。 3. **検証アプローチ**：シンボリックインタープレテーションとカリキュラスを使用した検証アプローチを開発します。 4. **実装**：Ansibleプログラミング言語にAstrogatorシステムを実装します。 5. **評価**：ベンチマークセットでシステムを評価し、その効果を示します。 ### 制限： * **言語サポートの限界**：現在はAnsibleのみをサポートしています。 * **query 言語の限界**：形式 query 言語と知識ベースはさらに開発が必要です。 * **仮定の処理**：システムは特定の仮定の下で誤ったコードを受け入れ、ユーザーの介入が必要になる可能性があります。 ### 結論： AstrogatorはLLMが生成したコードの正確性を検証するための有望なアプローチです。自然言語プログラミングのための形式フレームワークを提供し、ベンチマークセットでその効果を示しました。制限を解消し、言語サポートを拡張するためのさらなる開発が必要です。