研究人员将 on-policy distillation 拓展到标准场景之外
多篇新论文针对流模型、LLM、智能体和视觉语言系统中的 OPD 局限提出改进。
为什么重要
这些工作反映出一个趋势：当教师模型和学生模型在规模、架构、模态或轨迹行为上存在差异时，让蒸馏依然可用。如果这些方法能在已报告的基准之外得到验证，可能会让更强模型更容易部署到更小型或更专用的系统中。
核心要点
- 1.Any-OPD 可在任意潜在流匹配生成器之间进行蒸馏。
- 2.W2S-OPD 使用多个较弱模型来提升一个更强的学生模型。
- 3.FutureBridge-OPD 报告称其在 ALFWorld、WebShop 和 ScienceWorld 上取得提升。
几篇新的 arXiv 论文提出了拓展 on-policy distillation 的方法。on-policy distillation 是一种训练方式，用学生模型自身产生的状态或样本来监督模型。Any-OPD 面向异构潜在流匹配生成器，不再依赖共享的潜在空间或架构，而是在冻结的、与模型无关的视觉表征中比较解码后的输出。其他论文则提出了用于 LLM 的 weak-to-strong OPD、面向多轮智能体任务的 FutureBridge-OPD，以及用于容量感知视觉语言蒸馏的 Fisher-Projected OPD。
⚡ 今天就能用
在对不匹配的模型、智能体或视觉语言系统应用教师-学生蒸馏前，先阅读相关 OPD 论文。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
- arXiv cs.AIOPOD: On-Policy Omni DistillationAug 5, 12:00 PM↗
- arXiv cs.AIWhen Teachers Mislead: Spurious-Signal-Aware On-Policy DistillationAug 5, 12:00 PM↗
- arXiv cs.LGAny-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space BridgingAug 5, 12:00 PM↗
- arXiv cs.AISOD: Step-wise On-policy Distillation for Small Language Model AgentsAug 4, 12:00 PM↗
- arXiv cs.AIATOD: Annealed Turn-Aware On-Policy Distillation for Multi-Turn Agentic TasksAug 4, 12:00 PM↗
- arXiv cs.LGWeak-to-Strong On-Policy DistillationAug 4, 12:00 PM↗
- arXiv cs.LGLook Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy DistillationAug 4, 12:00 PM↗
- arXiv cs.LGDistill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language ModelsAug 4, 12:00 PM↗
- arXiv cs.CLSOD: Step-wise On-policy Distillation for Small Language Model AgentsAug 4, 12:00 PM↗
- arXiv cs.CLLook Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy DistillationAug 4, 12:00 PM↗
- arXiv cs.CLDistill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher GuidanceAug 4, 12:00 PM↗
- HF Daily PapersAny-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space BridgingAug 4, 4:00 AM↗
觉得这篇简报有用？下一篇直接送到你的邮箱。