概要 - ルーブリックとしての報酬：確認可能な領域を超えた強化学習

ルーブリックとしての報酬：確認可能な領域を超えた強化学習

2025-07-23 17:57:55

{"Anisha Gunjal","Anthony Wang","Elaine Lau","Vaskar Nath","Bing Liu","Sean Hendryx"}

{cs.LG,cs.AI,cs.CL}

論文「Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains」は、解釈可能な報酬信号を使用して言語モデルをトレーニングするための新しいフレームワーク「Rubrics as Rewards（RaR）」を紹介しています。このアプローチは、検証可能な報酬（RLVR）や好みに基づく報酬モデル（RaR）に依存する従来の強化学習方法の限界を解決します。 **強化学習における主要な課題**： * **検証可能な報酬（RLVR）**：RLVRは、各タスクに対して一貫して明確な事実の真偽を求めますが、現実のシナリオではこれを取得することが難しいです。そのため、トレーニング後の言語モデルに対する信頼性のある報酬信号の定義が困難です。 * **好みに基づく報酬モデル（RaR）**：RaRメソッドは、解釈困難な報酬関数に依存しており、誤差の可能性が高く、大量の対対比較が必要であるため、脆くかつコストがかかります。 **Rubrics as Rewards（RaR）**： RaRは、構造化されたチェックリストスタイルのルーブリックを使用して、Generative Reward Prediction Optimization（GRPO）によるオンポリシートレーニングの報酬信号として解釈可能な報酬信号を提供するフレームワークを導入します。ルーブリックは、「良い応答とは何か」を具体的で人間が解釈可能な基準に分解することで、二値の正確性信号と粗い好みの評価の間に中間地点を提供します。 **主要な貢献**： 1. **Rubrics as Rewards（RaR）**：チェックリストスタイルのルーブリックを使用して多基準タスクを監督するオンポリシー強化学習フレームワークで、安定したトレーニングと推論、現実の領域における性能の向上を可能にします。 2. **ルーブリック生成**：専門家の指導と参照回答に基づいて大規模な言語モデル（LLM）を使用してルーブリックを生成するアプローチ。 3. **実験**：RaRを医学と科学の2つの推論領域（RaR-Medicine-20kとRaR-Science-20kデータセット）で評価し、RaRは強いベースラインを上回り、多様な領域における精度の著しい向上を達成しました。 4. **一般化**：RaRは、より小さな判定モデルが人間の好みとより良い一致を取り、異なるモデルスケールで堅牢な性能を維持するようになります。 **ルーブリック生成**： 論文は、以下の望ましい条件に従ってルーブリックを生成するルーブリック生成アプローチを提案しています： * **専門家の指導と参照回答に基づく**：ルーブリックは、専門家やより強力なLLMによって生成された参照回答に基づいて、正確性が必要な主要な事実、推論手順、結論をキャプチャします。 * **包括的なカバー**：ルーブリックは、事実の正確性、論理的な構造、完全性、スタイル、一般的な誤りなど、複数の品質次元をカバーするように設計されています。 * **セマンティックウェイト**：各基準には、最終報酬における相対的な優先度を反映するカテゴリ的な重要性レベル（例：必須、重要、任意、誤り）が付けられます。 **実験**： 論文は、RaRを医学と科学の2つの推論領域（RaR-Medicine-20kとRaR-Science-20kデータセット）で評価し、RaRが強いベースラインを上回り、多様な領域における精度の著しい向上を達成したことを示しています。さらに、論文はルーブリックの設計やLLMの専門性がルーブリックの品質と下流の性能にどのように影響するかを調査しました。 **結論**： Rubrics as Rewards（RaR）は、解釈可能な報酬信号を使用して言語モデルをトレーニングするための有望なアプローチを提供します。このフレームワークは、従来の強化学習方法の限界を解決し、現実のシナリオで信頼性とスケーラビリティのある報酬を指定する柔軟な解決策を提供します。