研究人员提出面向 on-policy distillation 的新控制方法
三篇 arXiv 论文聚焦用教师引导轨迹训练学生模型时的失效模式。
为什么重要
这些论文指向当前蒸馏流程的一个共同局限：当下游结果、可恢复性和上下文鲁棒性至关重要时，仅在局部匹配教师行为可能并不够。更好地控制何时蒸馏、蒸馏什么，可能提升用于推理和智能体工作负载的小型学生模型。
核心要点
- 1.SPOT 使用稀疏探测和经验证器评分的续写来校准目标。
- 2.具备可恢复性感知的控制方法可区分能够纠正的错误与需要回滚的状态。
- 3.FutureBridge-OPD 报告称其在 ALFWorld、WebShop 和 ScienceWorld 上取得了收益。
多篇新的 arXiv 论文提出方法，试图让 on-policy distillation 更具选择性、更稳健。SPOT 将有限的探测预算分配给不确定或不匹配的位置，并利用经验证器评分的续写来校准蒸馏目标。另有研究引入反事实可恢复性，用于判断学生模型的错误应被保留还是回滚；FutureBridge-OPD 则测试短程教师“桥接”是否能改善智能体任务中学生模型后续的轨迹表现。
⚡ 今天就能用
在应用 on-policy distillation 之前，应审查你的流程是否会根据下游任务结果验证教师干预，而不只是看 token 级别的差异。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
- HF Daily PapersOn-Policy Delta Distillation for Multilingual Math ReasoningAug 6, 4:00 AM↗
- arXiv cs.AIWhen Teachers Mislead: Spurious-Signal-Aware On-Policy DistillationAug 5, 12:00 PM↗
- arXiv cs.CLLanguage-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASRAug 5, 12:00 PM↗
- arXiv cs.AISOD: Step-wise On-policy Distillation for Small Language Model AgentsAug 4, 12:00 PM↗
- arXiv cs.AINative Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian LanguagesAug 4, 12:00 PM↗
- arXiv cs.LGNative Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian LanguagesAug 4, 12:00 PM↗
- arXiv cs.CLSOD: Step-wise On-policy Distillation for Small Language Model AgentsAug 4, 12:00 PM↗
- arXiv cs.CLNative Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian LanguagesAug 4, 12:00 PM↗
觉得这篇简报有用？下一篇直接送到你的邮箱。