新論文群、長文脈AI向けスパースアテンションに照準
研究者らが、長文脈推論、サービング、動画生成、メモリをより低コストにする手法を提案。
なぜ重要か
長文脈AIシステムでは、アテンション計算量とKVキャッシュメモリがますます制約になっている。これらの論文は、単にコンテキストウィンドウを拡張する段階から、実際のハードウェアやサービング上の制約下で長文脈推論を実用化する方向へと、流れが広がっていることを示している。
要点
- 1.スパースアテンションは、長文脈推論を低コスト化する中心的な手段であり続けている。
- 2.FlashPrefill V2は、ページ化KVキャッシュやバッチ処理など、本番サービング向けの機能を狙っている。
- 3.MoNeは、128Kトークン文脈で計算量とメモリ使用量を削減できると報告している。
複数の新しいarXiv論文が、Transformerシステムにおける長文脈アテンションのコストを下げる方法を提案している。内容には、KVキャッシュのスパースアテンション方針と共適応するようモデルをファインチューニングする手法、LLMサービングにおけるブロックスパースなプリフィルアテンション向けのFlashPrefill V2、動画生成とワールドモデルで訓練なしにスパースアテンションを使うSparsePR、凍結済みTransformer向けのモジュール型ニューラルメモリであるMoNeが含まれる。各論文は、再構成誤差の低減、本番運用を意識したサービング機能への対応、128Kトークン文脈での計算量とメモリ使用量の削減といった改善を報告している。
⚡ 今日から使える
長文脈モデルをサービングまたはファインチューニングする場合は、コンテキスト長を拡大する前に、自社のレイテンシ、メモリ、品質の目標に照らしてスパースアテンションとKVキャッシュ方針を評価すべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
- arXiv cs.CLLearning how to Forget: Fine-tuning for Long-Context Sparse AttentionAug 21, 12:00 PM↗
- arXiv cs.CLFlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM ServingAug 21, 12:00 PM↗
- HF Daily PapersFlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM ServingAug 20, 12:02 PM↗
- arXiv cs.LGPartition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World ModelsAug 20, 12:00 PM↗
- arXiv cs.AIPartition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World ModelsAug 20, 12:00 PM↗
- arXiv cs.LGMoNe: Modular Neural Memory for Efficient Long Context InferenceAug 19, 12:00 PM↗
- arXiv cs.AIMoNe: Modular Neural Memory for Efficient Long Context InferenceAug 19, 12:00 PM↗
- arXiv cs.CLMoNe: Modular Neural Memory for Efficient Long Context InferenceAug 19, 12:00 PM↗
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
MemTrapBench、LLMの記憶利用に潜む認知的な落とし穴を検証
このベンチマークは、検索された記録が関連性のあるものでも、記憶がタスク性能を低下させ得ることを示した。
AI4AI-Bench、エージェントの訓練アルゴリズム設計能力を検証
arXivの新ベンチマークは、LLMエージェントが凍結されたリポジトリ群で訓練アルゴリズムを書き換えられるかを評価する。
SWE-bench Science、科学コードでコーディングエージェントを検証
このベンチマークは、20の科学分野にまたがる98のGitHubリポジトリから119件のタスクを収録している。