研究人员发布 LittleLearner，用于受控研究 LLM
这款 5B 参数模型基于 88B token、面向五年级及以下水平的课程语料训练而成。
为什么重要
这项工作提供了一个受控环境，用于探究 LLM 的行为究竟来自已学习的知识，还是来自后续的能力激发。其发现表明，预训练数据的边界可能对模型能力形成实际上限，仅靠后训练未必能够突破。
核心要点
- 1.LITTLECURRICULUM 包含 88B token 的五年级及以下材料。
- 2.LITTLELEARNER 是一个从零训练的 5B 参数模型。
- 3.后训练和提示能改善模型对已有知识的运用，但不能提升范围外能力。
研究人员推出了 LITTLECURRICULUM，这是一个 88B token 的预训练语料库，针对美国小学阶段教材内容定制，并排除了五年级以上的概念、事实和词汇。他们基于该语料从零训练了一个 5B 参数语言模型 LITTLELEARNER，并将二者一并发布，作为在明确训练范围下研究模型知识获取机制的沙盒。初步实验发现，扩大规模、SFT 加 GRPO 后训练以及上下文学习有助于模型运用已有知识，但并未显著提升其范围之外的能力。
⚡ 今天就能用
在假设后训练能够加入范围外能力之前，可先用 LITTLECURRICULUM 和 LITTLELEARNER 测试知识注入方法。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
觉得这篇简报有用？下一篇直接送到你的邮箱。