研究者ら、推論の「考えすぎ」を抑えるDASHを提案
セグメント単位の信用割り当て手法が、中間的な回答コミットメントを使って推論モデルの訓練を方向づける。
なぜ重要か
この研究は、推論モデルにおける実務上の非効率に焦点を当てている。長い推論過程は、正答率を改善しないままコストだけを増やすことがある。セグメント単位の信用割り当ては、有用な振り返りを報酬で促しつつ、生産性の低い推論ループを抑える訓練手法につながる可能性がある。
要点
- 1.DASHは推論セグメント単位で信用を割り当てる。
- 2.この手法は中間的な回答コミットメントを代理シグナルとして使う。
- 3.競技レベルの数学ベンチマークで平均正答率59.45%を報告している。
arXivに公開された論文が、推論型言語モデル向けのセグメント単位の信用割り当て手法「DASH（Drift Aware advantage SHaping）」を紹介した。著者らによると、推論モデルはしばしば、曖昧な留保、途中で放棄される方針、自己矛盾によって考えすぎに陥り、回答の質を高めないままトークンを消費する。DASHは、中間的な回答コミットメントを低コストの代理指標として用い、その後の振り返りが正解に近づいているのか、遠ざかっているのかを判断する。考えすぎが起きやすい競技レベルの数学ベンチマークで、DASHは平均正答率59.45%を報告しており、Dr.GRPOの58.1%、GRPOの56.95%を上回った。
⚡ 今日から使える
長い思考連鎖に報酬を与える推論モデルのRL目的関数を調整する前に、この論文を読んでおきたい。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。