arXiv論文がエージェント型RLにおける自己蒸留を検証

3本のarXiv論文が、エージェント型タスクにおける強化学習向けの自己蒸留手法を検討している。AgentOPSDは、ターン単位の信用割り当てに向けたcritic不要の再帰的手法を提案し、Qwen2.5の3Bおよび7Bモデルを用いてALFWorld、WebShop、Search-QAで評価した。OCSDは、完全なリプレイ表示と観測情報を削ったリプレイ表示を対比し、将来の観測がもたらす影響を切り分けようとする。3本目の論文は、特権情報を用いた自己蒸留は損失を下げられる一方で、より難しいタスクでは検証精度を改善せず、しばしば低下させると論じている。