Cactus、エッジデバイス向けにNeedle 2をリリース
14MBのエージェント型LLMで、スマートフォン、ウェアラブル、ロボット上でのツール利用と構造化抽出を狙う。
なぜ重要か
Needle 2は、AIエージェントをPC、Mac、クラウドシステムだけでなく、制約の大きいエッジハードウェア上で動かす取り組みが続いていることを示している。ベンチマークの主張が実証されれば、非常に小型のモデルによって、低価格のコネクテッドデバイス全般でツール利用やデバイス制御がより現実的になる可能性がある。
要点
- 1.Needle 2は14MBのバイナリで、1セッションあたり28MBのRAMを使用する。
- 2.CactusはRaspberry Pi 5で毎秒500トークンのデコード速度を報告している。
- 3.このモデルは、ツール呼び出し、デバイス操作、構造化抽出を対象としている。
Cactusは、スマートフォン、ウェアラブル、スマートホーム機器、小型ロボット、マイクロコントローラー上でのツール呼び出し、デバイス操作、構造化抽出に向けて設計された14MBのエージェント型LLM「Needle 2」をリリースした。同社によると、このモデルは2ビット圧縮で4,500万パラメータを持つ単一の14MBバイナリで、28MBのRAMでフルセッションを実行できる。デコード速度はRaspberry Pi 5で毎秒500トークン、Meta Quest 3SとApple Vision Proで毎秒400〜1,500トークン、200ドル未満のSamsung A-Seriesスマートフォンで毎秒300〜700トークンとしている。
⚡ 今日から使える
ツール呼び出しのワークフローで、より大きなモバイルモデルやクラウドモデルを採用する前に、対象のエッジハードウェア上でNeedle 2を評価したい。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。
関連： モデル
LiquidAI、LFM2.5向けQ4_0チェックポイントを公開
GGUFファイルは量子化対応蒸留を用い、4-bit版LFM2.5モデルでの品質低下を抑える。
GLM-5.3のベンチマークが開発者の議論を呼ぶ
Artificial AnalysisによるGLM-5.3のベンチマークが、Hacker Newsとr/LocalLLaMAで共有された。
Qwen3.8 27B、Artificial Analysisで52点を記録
RedditとHacker Newsのユーザーが、このモデルのArtificial Analysisでの結果とエージェント性能ランキングに注目した。