概要 - PurpCode: より安全なコード生成のための推論

PurpCode: より安全なコード生成のための推論

2025-07-25 08:23:00

{"Jiawei Liu","Nirav Diwan","Zhe Wang","Haoyu Zhai","Xiaona Zhou","Kiet A. Nguyen","Tianjiao Yu","Muntasir Wahed","Yinlin Deng","Hadjer Benkraouda","Yuxiang Wei","Lingming Zhang","Ismini Lourentzou","Gang Wang"}

{cs.CR,cs.CL,cs.LG,cs.SE}

PurpCodeは、コードLLM（言語学習モデル）をサイバーセキュリティ推論に適合させるための革新的なトレーニング後の方法です。このアプローチは、悪意のあるサイバー活動に抵抗し、安全で機能するコードを生成することを目指しています。PurpCodeの鍵となる革新は、モデルに詳細なコードセキュリティルールを教え、彼らがこれらのルールを多賞環境で行使できるようにすることにあります。議論的ルール学習と強化学習を利用することで、PurpCodeはモデルの有用性に最小限の影響を与えながら、コードLLMのサイバーセキュリティを大幅に向上させます。 ### PurpCodeの主要コンポーネント **1. 安全意識を持つコード推論**: * **ルール学習**: このステップでは、モデルに一般的な安全性と安全なコーディング慣習の個別ルールを教えます。これは、合成安全性推論のトラジェクトリを使用した監督的微調整（SFT）を通じて達成されます。これらのトラジェクトリには、プルートスパーキッシュに特化したルールと検証された回答が含まれ、モデルが関連するコードセキュリティルールを呼び出し、適用するようにガイドします。 * **強化学習（RL）**: このステップはルール学習を基に、多様な多目的報酬メカニズムを通じてモデルの安全性と有用性を最適化します。これにより、モデルがその安全性推論の能力をより広いシナリオに一般化することが促されます。 **2. 内部のレッドチーム**: このコンポーネントは、さまざまな攻撃シナリオをシミュレートすることで潜在的な故障モードを発見することを目的としています。これは以下を含みます： * **脆弱なコードを誘発するプロンプトの合成**: このステップでは、モデルが既知の脆弱性を持つコードを生成するプロンプトを生成します。これは、確認された脆弱性のあるコードを似たような欠陥のあるコードのリクエストに変換することで達成されます。 * **マルチーズイベントのアシストのための種プロンプト**: このステップでは、モデルがサイバー攻撃を助ける可能性のあるマルチーズリクエストのコーパスをカurationします。 * **ジャイルブレイク**: このステップでは、種プロンプトを変更して、それらが無害に見えるようになりながら、有害なアクションを引き起こすようにします。これにより、悪意のある攻撃に対する防御の難しさを増やします。 ### 評価と結果 PurpCodeはさまざまなベンチマークとレッドチームシナリオで評価されており、コードのセキュリティを向上させ、悪意のあるイベントのアシストを減らす効果を示しています。いくつかの主要な結果には以下があります： * **コードセキュリティ**: PurpCode-32Bは、CyberSecEval SCG、CodeLMSec、CWEval（Python）などのベンチマークでさまざまな先進モデルを上回り、セキュアなコードを生成する能力を示しました。 * **悪意のあるイベントのアシスト**: PurpCode-32Bは、ジャイルブレイク攻撃に対する最先端の防御能力を達成し、悪意のあるリクエストに対する堅牢性を示しました。 * **オーバーレフューズ**: PurpCode-32Bは低いオーバーレフューズ率を維持し、無害なリクエストを過度に拒否することはありません。 * **有用性**: PurpCodeはモデルの有用性に最小限の影響を与え、コード生成や基本的なセキュリティ知識タスクにおける高いパフォーマンスを維持します。 ### 結論 PurpCodeは、セキュアなコード生成の分野における重要な進歩を代表しています。モデルに詳細なコードセキュリティルールを教え、彼らがこれらのルールを多賞環境で行使できるようにすることは、コードLLMのサイバーセキュリティを向上させる可能性を示しています。ルール学習、強化学習、および内部のレッドチームを組み合わせることで、PurpCodeはLLMが生成するコードのセキュリティと信頼性を確保するための包括的なアプローチを提供します。