InternLM、Mobiusモデルアーキテクチャを提案
arXiv論文は、メモリと推論を分離することで圧縮と推論効率の向上を狙う。
なぜ重要か
この研究は、基盤モデルにおける中核的な効率化課題、つまり推論性能を維持しながら冗長な知識保存を減らすことを目指している。報告されたベンチマーク以外でも検証されれば、メモリと推論を分けるアプローチは今後のモデルアーキテクチャ研究に影響を与える可能性がある。
要点
- 1.Mobius-v0はFFNメモリと自己注意型reasonerを分離する。
- 2.7Bモデルは、学習データ量を62.6%に抑えながらベースラインと同等の性能を示した。
- 3.Intern-S2-Mobiusは、エンドツーエンドの推論速度が約4倍になったと報告している。
InternLMは、知識の保存と推論を分離する基盤モデルアーキテクチャ「Mobius-v0」を発表した。この設計では、知識ベクトル用にグローバルに共有されるFFNメモリを使い、複数の自己注意型reasonerがそのメモリに反復的に問い合わせる。著者らによると、スクラッチから学習した7Bモデルは、学習データ量を7B Transformerベースラインの62.6%に抑えながら同等の性能を示した。また、Qwen3.5-35Bから継続事前学習したIntern-S2-Mobiusは、下流タスクで同程度のスコアを達成しつつ、エンドツーエンドの推論速度を約4倍に高めたという。
⚡ 今日から使える
Mobius型の効率化主張を採用する前に、arXiv論文を読み、公開されているGitHubまたはHuggingFaceモデルを検証したい。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
スタートアップ、AIによるがん治療の進展にはデータが鍵と指摘
TechCrunchによると、このスタートアップは、より良いデータがなければAIはがん治療の実現に近づいていないと主張している。
HarnessRisk、エージェント・ハーネスの安全性障害をベンチマーク
このベンチマークは、エージェント・ハーネスの各フェーズにおける攻撃を検証する。一方、関連研究ではタスクごとのプロビジョニングが検討されている。
Agent Lightning v1.0、ハーネス型エージェントRLを照準に
このフレームワークは、任意のエージェント・ハーネスを強化学習によるポストトレーニングに接続する。