研究者ら、エージェント向けオンポリシー蒸留を改良

3本のarXiv論文は、学生モデルが生成した軌跡を教師モデルが監督するオンポリシー蒸留の限界に取り組んでいる。FutureBridge-OPDは、モデル間の不一致が大きい状態で短い教師介入を試し、Qwen3-32BからQwen3-1.7Bへの設定でALFWorld、WebShop、ScienceWorldにおける改善を報告した。SPOTは、スパースなプロービングと検証器で採点した継続生成を用いて、どこで何を蒸留すべきかを判断する。一方、反事実的な回復可能性を測る手法は、エラー状態を再実行し、その軌跡を保持するか、ロールバックするか、従来型の監督を行うかを決定する。