IBM、AIエージェントに必要なメモリ量を検証
ALTK-Evolveの研究で、エージェントのメモリ効果はモデルの性能と提供方法に左右されることが示された。
なぜ重要か
この結果は、エージェントのメモリを一律の機能としてではなく、モデルごとのシステム設計上の選択肢として扱うべきだということを示している。本番環境のエージェントでは、メモリ戦略が信頼性と推論コストの双方に影響し得る。
要点
- 1.ALTK-Evolveは、モデルの重みを更新せずにエージェントメモリを追加する。
- 2.メモリによる性能向上は、モデルの能力とタスク上の改善余地によって異なった。
- 3.キュレーション済み検索により、5%のトークンオーバーヘッドでgpt-oss-120bの性能が向上した。
IBM Researchは、同社のALTK-Evolveシステムが、過去の軌跡から再利用可能なガイドラインを蒸留し、推論時に注入することで、重みの更新や人手によるアノテーションなしにAIエージェントの性能を高めたと発表した。8つのモデルを対象に585件のマルチステップタスクを扱ったAppWorld評価では、まだ改善余地のある高性能モデルはガイドライン一式から最も大きな恩恵を受けた一方、性能の低いモデルでは、コンパクトな中核ガイドラインにタスク固有の検索を組み合わせた方が良い結果となった。投稿ではまた、gpt-oss-120bが5%のトークンオーバーヘッドでキュレーション済み検索を使った場合、タスク完了率を16.1ポイント伸ばした一方、GLM-5では測定可能な改善が見られなかったと報告している。
⚡ 今日から使える
デフォルトでコンテキストを拡張する前に、自分たちのエージェントタスクでフルメモリ方式と検索ベースのメモリ方式の両方をベンチマークすべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
スタートアップ、AIによるがん治療の進展にはデータが鍵と指摘
TechCrunchによると、このスタートアップは、より良いデータがなければAIはがん治療の実現に近づいていないと主張している。
HarnessRisk、エージェント・ハーネスの安全性障害をベンチマーク
このベンチマークは、エージェント・ハーネスの各フェーズにおける攻撃を検証する。一方、関連研究ではタスクごとのプロビジョニングが検討されている。
Agent Lightning v1.0、ハーネス型エージェントRLを照準に
このフレームワークは、任意のエージェント・ハーネスを強化学習によるポストトレーニングに接続する。