研究人员改进面向智能体的 on-policy 蒸馏

三篇 arXiv 论文聚焦 on-policy 蒸馏的局限：在这种方法中，教师模型会监督由学生模型生成的轨迹。FutureBridge-OPD 测试了在高分歧状态下进行短时教师干预，并报告称，在 Qwen3-32B 到 Qwen3-1.7B 的设置中，该方法在 ALFWorld、WebShop 和 ScienceWorld 上带来提升。SPOT 使用稀疏探测和由验证器打分的续写来决定在何处、蒸馏什么；而一种反事实可恢复性方法则会重放错误状态，以判断应保留轨迹、回滚轨迹，还是采用常规监督。