ReflectRL、失敗した専門家の推論軌跡で推論モデルを訓練
arXiv論文は、オンポリシー訓練中の内省対象として、欠陥のある専門家ロールアウトを利用する手法を提案している。
なぜ重要か
この研究は、推論モデルのポストトレーニングにおけるボトルネックに焦点を当てている。難しい問題で専門家モデルが失敗すると、その専門家軌跡の有用性が低下するという問題だ。検証が進めば、失敗したロールアウトを捨てるべきデータではなく、訓練に使えるシグナルに変えられる可能性がある。
要点
- 1.ReflectRLは、失敗した専門家の推論軌跡から学習する。
- 2.この手法は、内省の振る舞いを直接的な推論へと変換する。
- 3.評価は9つのベンチマークと4つのLLMバックボーンにまたがる。
研究者らは、大規模言語モデルの推論能力をオンポリシー訓練中に高めるための軽量なプラグアンドプレイ型フレームワーク、ReflectRLを発表した。この手法は「Golden Negative Trajectories」と呼ばれる、より強力な専門家モデルによる失敗出力を用いる。ただし模倣すべきデモンストレーションとしてではなく、モデルが内省するための欠陥のある推論経路として扱い、その振る舞いを直接的な推論へと転移させる。Hugging Face Daily Papersのエントリーによると、著者らは9つのベンチマーク、4つのLLMバックボーン、4つのオンポリシー設定でこの手法を評価した。
⚡ 今日から使える
推論モデルのポストトレーニングパイプラインで失敗した専門家ロールアウトを破棄する前に、ReflectRL論文を読んでおきたい。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
- arXiv cs.AIReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct ReasoningAug 5, 12:00 PM↗
- arXiv cs.LGPrefix-Guided On-Policy Distillation: Mining Golden Trajectories from RolloutsAug 4, 12:00 PM↗
- HF Daily PapersReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct ReasoningAug 4, 4:00 AM↗
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
Google、準同型暗号でプライベートAIを前進
Googleは、準同型暗号を活用してプライベートAIをより実用的にしようとしていると説明している。
Google、プライベートAIの実用化を進めていると説明
Google Securityの投稿がHacker Newsで議論を呼び、AI全般への批判とも並んだ。
AIのプライバシーと説明責任をめぐる投稿、Hacker Newsで議論に
Hacker Newsの6本のスレッドで、プライベートAI、トークン再販、AI批判、実践的ツールが話題に。