新论文测试面向智能体强化学习的自蒸馏方法

三篇 arXiv 论文考察了在稀疏强化学习奖励下训练语言模型智能体的自蒸馏方法。AgentOPSD 提出一种无需 critic 的递归方法，用于回合级信用分配，并报告了基于 Qwen2.5 3B 和 7B 模型在 ALFWorld、WebShop 和 Search-QA 上的评测结果。OCSD 提出对比完整回放视角与去除观察信息的回放视角，以隔离来自未来观察的监督信号；另一篇论文则认为，以特权信息为条件的教师模型可以降低逐 token 损失，但未必提升验证准确率，在更难任务上还常常会使其下降。