Cactus veröffentlicht Needle 2 für Edge-Geräte
Das 14 MB große agentische LLM zielt auf Tool-Nutzung und strukturierte Extraktion auf Smartphones, Wearables und Robotern.
Warum es wichtig ist
Needle 2 zeigt, dass weiter daran gearbeitet wird, KI-Agenten auf eingeschränkter Edge-Hardware laufen zu lassen, statt nur auf PCs, Macs oder Cloud-Systemen. Sollten sich die Benchmark-Angaben bestätigen, könnten sehr kleine Modelle Tool-Nutzung und Gerätesteuerung auf günstigen vernetzten Geräten deutlich praktikabler machen.
Die Kernpunkte
- 1.Needle 2 ist eine 14-MB-Binärdatei und nutzt 28 MB RAM pro Sitzung.
- 2.Cactus meldet 500 Tokens/Sekunde Decode-Geschwindigkeit auf Raspberry Pi 5.
- 3.Das Modell ist auf Tool-Calls, Gerätenutzung und strukturierte Extraktion ausgelegt.
Cactus hat Needle 2 veröffentlicht, ein 14 MB großes agentisches LLM, das für Tool-Calling, Gerätenutzung und strukturierte Extraktion auf Smartphones, Wearables, Smart-Home-Geräten, kleinen Robotern und Mikrocontrollern entwickelt wurde. Das Unternehmen gibt an, dass das Modell als einzelne 14-MB-Binärdatei mit 45 Millionen Parametern bei 2-Bit-Kompression vorliegt und eine vollständige Sitzung mit 28 MB RAM ausführen kann. Cactus meldet Decode-Geschwindigkeiten von 500 Tokens pro Sekunde auf einem Raspberry Pi 5, 400 bis 1.500 Tokens pro Sekunde auf Meta Quest 3S und Apple Vision Pro sowie 300 bis 700 Tokens pro Sekunde auf Samsung-A-Series-Smartphones unter 200 Dollar.
⚡ Heute ausprobieren
Testen Sie Needle 2 auf Ihrer Ziel-Edge-Hardware, bevor Sie sich für größere Mobile- oder Cloud-Modelle für Tool-Calling-Workflows entscheiden.
Quellen & Originalberichte
Dieser Brief fasst die Berichterstattung der folgenden Medien zusammen und verlinkt sie.
Hat dir dieses Briefing gefallen? Erhalte das nächste per Mail.
Mehr in Modelle
GLM-5.3-Benchmarks sorgen für Diskussionen unter Entwicklern
Benchmarks von Artificial Analysis zu GLM-5.3 machten auf Hacker News und r/LocalLLaMA die Runde.
Qwen3.8 27B erzielt 52 Punkte bei Artificial Analysis
Nutzer auf Reddit und Hacker News machten auf das Abschneiden des Modells bei Artificial Analysis und sein Agentic-Ranking aufmerksam.
Your AI Slop Bores Me lässt Menschen Chatbots spielen
In dem Webspiel beantworten Nutzer Prompts von Hand und verdienen Credits, indem sie die KI-Rolle übernehmen.