IBM, AI 에이전트에 필요한 메모리 규모를 실험하다
ALTK-Evolve 연구는 에이전트 메모리의 효과가 모델 역량과 제공 방식에 따라 달라진다고 분석했다.
왜 중요한가
이 결과는 에이전트 메모리를 일괄 적용할 기능이 아니라, 모델별 시스템 설계 선택지로 다뤄야 함을 시사한다. 프로덕션 에이전트에서는 메모리 전략이 신뢰성과 추론 비용 모두에 영향을 줄 수 있다.
핵심 포인트
- 1.ALTK-Evolve는 모델 가중치를 업데이트하지 않고 에이전트 메모리를 추가한다.
- 2.메모리 효과는 모델 역량과 과제의 개선 여지에 따라 달라졌다.
- 3.선별 검색은 5%의 토큰 오버헤드로 gpt-oss-120b 성능을 개선했다.
IBM Research는 ALTK-Evolve 시스템이 이전 실행 경로에서 재사용 가능한 지침을 추출하고 이를 추론 시점에 주입해, 가중치 업데이트나 인간 주석 없이 AI 에이전트 성능을 높였다고 밝혔다. 8개 모델을 대상으로 585개의 다단계 과제를 다룬 AppWorld 평가에서, 아직 개선 여지가 남아 있는 강한 모델은 전체 지침 세트에서 가장 큰 효과를 봤고, 약한 모델은 압축된 핵심 지침에 과제별 검색을 더한 방식에서 더 나은 성과를 냈다. 게시물은 또 gpt-oss-120b가 5%의 토큰 오버헤드로 선별 검색을 적용했을 때 과제 완료율이 16.1%포인트 상승한 반면, GLM-5는 측정 가능한 개선을 보이지 않았다고 전했다.
⚡ 오늘 바로 활용
기본적으로 컨텍스트를 늘리기 전에, 실제 에이전트 과제에서 전체 메모리 방식과 검색 기반 메모리 방식을 모두 벤치마크하라.
출처 및 원본 보도
이 브리핑은 아래 매체의 보도를 요약하고 링크합니다.
이 브리핑이 유용했나요? 다음 소식을 메일로 받아보세요.
관련: 연구
스타트업 “AI 암 치료 진전의 핵심은 데이터”
TechCrunch에 따르면 이 스타트업은 더 나은 데이터 없이는 AI가 암 치료에 가까워지지 못했다고 주장했다.
HarnessRisk, 에이전트 하네스 안전 실패를 벤치마크하다
이 벤치마크는 에이전트 하네스의 단계별 공격을 테스트하며, 관련 연구는 작업별 프로비저닝을 살핀다.
Agent Lightning v1.0, harness 기반 agentic RL 겨냥
이 프레임워크는 임의의 agent harness를 강화학습 기반 post-training에 연결한다.