LiquidAI 发布 LFM2.5 的 Q4_0 检查点
这些 GGUF 文件通过量化感知蒸馏，降低 4-bit LFM2.5 模型的质量损失。
为什么重要
此次发布面向边缘部署场景。在这类场景中，4-bit 模型可以降低内存占用并提升吞吐，但往往会损失准确率。更好的量化检查点可能让小型本地模型在推理、指令跟随、工具使用和智能体任务中更具实用性。
核心要点
- 1.四个 LFM2.5 QAD Q4_0 GGUF 检查点已在 Hugging Face 上提供。
- 2.LiquidAI 称其保留了约 96.5% 至 97.4% 的 BF16 基线性能。
- 3.这些文件面向兼容 GGUF 的本地和边缘推理运行时。
LiquidAI 在 Hugging Face 上发布了 LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B 的新版 Q4_0 GGUF 检查点。该公司表示，这些文件采用量化感知蒸馏训练，同时保留了原生 Q4_0 GGUF 的内存占用和吞吐表现。在其基准测试套件中，LiquidAI 称这些检查点保留了对应 BF16 基线性能约 96.5% 至 97.4%。
⚡ 今天就能用
如果你在边缘硬件上部署 LFM2.5，可以在 llama.cpp 或其他兼容 GGUF 的运行时中测试这些 QAD Q4_0 GGUF。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
觉得这篇简报有用？下一篇直接送到你的邮箱。
更多 模型
模型
GLM-5.3 基准测试引发开发者讨论
Artificial Analysis 关于 GLM-5.3 的基准测试在 Hacker News 和 r/LocalLLaMA 上流传。
Hacker News+1 家媒体·1d ago
模型
Qwen3.8 27B 在 Artificial Analysis 上获得 52 分
Reddit 和 Hacker News 用户注意到该模型在 Artificial Analysis 上的表现及其智能体排名。
r/LocalLLaMA+1 家媒体·2d ago
模型
《Your AI Slop Bores Me》让真人扮演聊天机器人
这款网页游戏让用户手动回答提示词，通过扮演 AI 一方来赚取积分。
The Verge AI·4d ago