新ベンチマーク、LLMエージェントは自己改善できるのかを検証

arXivに相次いで公開された新たな論文は、LLMエージェントが蓄積された経験、外部スキルライブラリ、ストリーミング型のタスク経験を通じて性能を高められるのかを評価している。ContinualSkillBenchは、5つのドメインそれぞれに100個の連結したサブタスクを用意したベンチマークを導入し、逐次実行によって性能が向上するケースは多いものの、その効果はモデルやドメインによってばらつくと報告している。関連研究ではまた、明示的なスキル保守がインコンテキスト適応を一貫して上回るわけではない一方、分野を考慮したスキル検索や選択的メモリ手法は、より限定的な環境で有効になり得るとしている。