研究人员提出新的 on-policy distillation 方法

一组 arXiv 论文提出了对 on-policy distillation 的改进。这种训练方法会在学生模型自行生成的轨迹上对其进行监督。相关方法包括面向视觉语言模型的 Fisher-Projected OPD、面向多轮智能体任务的 FutureBridge-OPD、用于稀疏探测和结果校准目标的 SPOT，以及一种具备可恢复性感知的控制方法，用于判断偏离的推理状态应被保留、回滚，还是按常规方式监督。论文报告的评测覆盖视觉语言推理、ALFWorld、WebShop、ScienceWorld、AIME 和 GPQA-Diamond，其中多篇声称相较普通 OPD 基线取得了提升。