新論文群、LLM強化学習における自己蒸留を検証

複数の新しいarXiv論文が、強化学習による大規模言語モデルのポストトレーニングに向けた自己蒸留手法を検討している。ある論文はInstruction-Conditioned Explorationを提案し、固定の訓練用指示を追加したうえで、正解したロールアウトをテスト時の無条件ポリシーへ蒸留する手法を示した。数学的推論において、4Kの応答長でQwen3-1.7Bを用いた場合、DAPOに対して未見データのpass@1が相対的に5.0%向上したと報告している。別の論文はエージェント型RL向けのObservation-Calibrated Self-Distillationを提案している。一方、3本目の論文は、特権情報を用いる自己蒸留は容易な設定では性能向上を再現できるものの、より難しいQA、数学、コーディング、ツール利用タスクでは検証精度を改善できないことが多く、低下させる場合もあると報告している。