IAR 瞄准无检索文档问答
这种分阶段后训练方法帮助模型在推理时无需检索，也能内化固定文档集合。
为什么重要
这项工作针对无法使用检索或不希望使用检索的场景，将固定语料转化为模型参数中的知识。它表明，分阶段后训练可以提升文档专属问答能力，同时限制通用能力的损失。
核心要点
- 1.三个阶段分别注入、对齐并恢复文档知识。
- 2.在 8 个设置中的 7 个里，IAR 在全部四项指标上都超过了 Vanilla SFT。
- 3.测试覆盖了 Llama、Phi、Qwen 和 SmolLM 模型系列。
研究人员提出了 IAR，这是一个面向有限文档集合无检索问答的三阶段后训练框架。该方法将文档知识注入、问答行为对齐和通用能力恢复拆分开来，分别采用重构式目标、仅答案问答监督，以及与基础指令模型合并的方式。在基于 Common Corpus 和 CCI、覆盖 Llama、Phi、Qwen 与 SmolLM 系列的测试中，相比传统继续预训练和 Vanilla SFT，IAR 改善了领域优先能力与领域通用能力之间的权衡。
⚡ 今天就能用
在为有限语料问答任务用微调替代 RAG 之前，先读这篇论文。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
觉得这篇简报有用？下一篇直接送到你的邮箱。