新论文检验用于 LLM 强化学习的自蒸馏方法

近期多篇 arXiv 论文研究了用强化学习对大语言模型进行后训练时的自蒸馏方法。其中一篇提出 Instruction-Conditioned Exploration（ICE），通过加入固定训练指令，并将正确 rollout 蒸馏到测试时不带条件的策略中；论文称，在 4K 响应长度下，Qwen3-1.7B 的数学推理相较 DAPO 在留出集 pass@1 上取得 5.0% 的相对提升。另一篇提出面向智能体强化学习的 Observation-Calibrated Self-Distillation（OCSD）。第三篇则报告称，特权信息自蒸馏可以在简单设置中复现收益，但在更难的 QA、数学、编程和工具使用任务上，往往无法提升验证准确率，甚至可能导致下降。