LiquidAI veröffentlicht Q4_0-Checkpoints für LFM2.5
Die GGUF-Dateien nutzen quantisierungsbewusste Destillation, um Qualitätsverluste bei 4-Bit-Modellen von LFM2.5 zu verringern.
Warum es wichtig ist
Die Veröffentlichung zielt auf Edge-Deployments, bei denen 4-Bit-Modelle den Speicherbedarf senken und den Durchsatz verbessern können, aber oft an Genauigkeit verlieren. Besser quantisierte Checkpoints könnten kleine lokale Modelle für Reasoning, das Befolgen von Anweisungen, Tool-Nutzung und agentische Aufgaben praktikabler machen.
Die Kernpunkte
- 1.Vier LFM2.5-QAD-Q4_0-GGUF-Checkpoints sind auf Hugging Face verfügbar.
- 2.LiquidAI meldet eine Beibehaltung von etwa 96,5 % bis 97,4 % gegenüber der BF16-Baseline.
- 3.Die Dateien richten sich an GGUF-kompatible lokale und Edge-Inferenz-Runtimes.
LiquidAI hat aktualisierte Q4_0-GGUF-Checkpoints für LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct und LFM2.5-2.6B auf Hugging Face veröffentlicht. Das Unternehmen erklärt, die Dateien seien mit quantisierungsbewusster Destillation trainiert worden und behielten den Speicherbedarf und Durchsatz nativer Q4_0-GGUFs bei. In seiner Benchmark-Suite meldete LiquidAI, dass die Checkpoints rund 96,5 % bis 97,4 % der jeweiligen BF16-Basisleistung erreichten.
⚡ Heute ausprobieren
Teste die QAD-Q4_0-GGUFs in llama.cpp oder einer anderen GGUF-kompatiblen Runtime, wenn du LFM2.5 auf Edge-Hardware einsetzt.
Quellen & Originalberichte
Dieser Brief fasst die Berichterstattung der folgenden Medien zusammen und verlinkt sie.
Hat dir dieses Briefing gefallen? Erhalte das nächste per Mail.
Mehr in Modelle
GLM-5.3-Benchmarks sorgen für Diskussionen unter Entwicklern
Benchmarks von Artificial Analysis zu GLM-5.3 machten auf Hacker News und r/LocalLLaMA die Runde.
Qwen3.8 27B erzielt 52 Punkte bei Artificial Analysis
Nutzer auf Reddit und Hacker News machten auf das Abschneiden des Modells bei Artificial Analysis und sein Agentic-Ranking aufmerksam.
Your AI Slop Bores Me lässt Menschen Chatbots spielen
In dem Webspiel beantworten Nutzer Prompts von Hand und verdienen Credits, indem sie die KI-Rolle übernehmen.