新論文群、エージェント型RLにおける自己蒸留を検証

3本のarXiv論文が、疎な強化学習報酬で言語モデルエージェントを訓練するための自己蒸留手法を検証している。AgentOPSDは、ターン単位の信用割当を行うcritic不要の再帰的手法を提案し、Qwen2.5の3Bおよび7Bモデルを用いてALFWorld、WebShop、Search-QAで評価したと報告している。OCSDは、完全なリプレイビューと観測を除去したリプレイビューを対比することで、将来の観測に由来する監督信号を切り分ける手法を提案している。一方、別の論文は、特権情報を条件とする教師モデルはトークン単位の損失を下げられるものの、より難しいタスクでは検証精度を改善せず、むしろ悪化させることが多いと論じている。