概要 - 言語混合がバイリンガルLLMの推論に与える影響

タイトル

言語混合がバイリンガルLLMの推論に与える影響

時間

2025-07-21 17:56:09

著者

{"Yihao Li","Jiayi Xin","Miranda Muqing Miao","Qi Long","Lyle Ungar"}

カテゴリ

{cs.CL,cs.AI,cs.LG}

リンク
http://arxiv.org/abs/2507.15849v1

PDF リンク
http://arxiv.org/pdf/2507.15849v1

概要

この論文は、バイリンガル大規模言語モデル（LLM）の推論能力に対する言語混合の影響を調査しています。LLMが推論中に英語と中国語を切り替える言語混合の現象を探求し、この行動がパフォーマンスに有利か不利かを検討しています。著者たちはまず、強い推論能力が言語混合の増加と関連していることを観察し、言語混合が推論を向上させるための意図的な戦術である可能性を示唆しています。彼らは言語混合を引き起こす鍵となる訓練段階として強化学習と確認可能な報酬（RLVR）を特定しました。言語混合が推論に与える影響を検証するために、彼らはLLMの出力を単一言語に制限した実験を行い、制限されないバイリンガルの出力と比較しました。彼らの結果によると、数学の推論タスクにおいて、バイリンガルの出力は単一言語の出力を大幅に上回りました。さらに、彼らは潜在的な言語切り替えが推論に有利か有害かを予測する軽量のプローブを訓練しました。このプローブはデコードを導くために使用され、精度のさらなる向上につながりました。これは、言語混合が多言語訓練の副産物に過ぎないのではなく、LLMの推論を向上させるために利用できる戦略的な推論行動であることを示唆しています。全体として、この論文は言語混合がLLMの推論に有益な戦術であるという証拠を提供しています。LLMにおける言語混合を影響する要因を理解する重要性を強調し、この行動を推論性能の向上に利用する方法を提案しています。

推奨論文

Agentar-DeepFinance-300K: 系統的な思考の連鎖合成最適化による大規模金融データセット

不確実性下での堅牢最適化を通じてのパーソナライズド薬剤の計算的デザイン

会話が歪んだ後でもどうなるか？対話予測モデルの評価

平等は恒常的なコストのコミュニケーションよりもずっと弱いです

禁止パターンと植えられた色を持つエッジ色付け問題

VisionThink：強化学習を通じてスマートで効率的な視覚言語モデル

エッジでTransformerを加速するための超低消費電力CGRA

他者の心：言語モデルが人間の時的認知を示す方法

凸二次最大化におけるアクティブセット法の無条件の下界

HTTPを介したバーチャルローカルエリアネットワークによる内部攻撃の起動