새 벤치마크, LLM 에이전트의 자기 개선 가능성 시험

최근 arXiv에 공개된 여러 논문은 LLM 에이전트가 축적된 경험, 외부 스킬 라이브러리, 스트리밍 방식의 과제 노출을 통해 성능을 개선할 수 있는지 평가했다. ContinualSkillBench는 5개 도메인에 걸쳐 각 도메인당 서로 연결된 100개의 하위 과제로 구성된 벤치마크를 제시했으며, 순차 실행이 성능을 높이는 경우가 많지만 그 효과는 모델과 도메인에 따라 달라진다고 밝혔다. 관련 연구는 명시적인 스킬 관리가 인컨텍스트 적응보다 일관되게 우수하지는 않으며, 분야 인식 기반 스킬 검색과 선택적 메모리 기법이 더 좁은 환경에서는 도움이 될 수 있다고 보고했다.