研究者ら、オンポリシー蒸留の新手法を提案

一連のarXiv論文は、学生モデルが自ら生成した軌跡に基づいて監督する学習手法であるオンポリシー蒸留の改良案を提案している。手法には、視覚言語モデル向けのFisher-Projected OPD、マルチターンのエージェントタスク向けFutureBridge-OPD、スパースなプロービングと結果に合わせて較正されたターゲットを用いるSPOT、さらに分岐した推論状態を保持すべきか、巻き戻すべきか、通常通り監督すべきかを判断するrecoverability-aware controlが含まれる。評価は視覚言語推論、ALFWorld、WebShop、ScienceWorld、AIME、GPQA-Diamondに及び、複数の論文が標準的なOPDベースラインを上回る改善を報告している。