研究者ら、LLMエージェント向けHarnessOpt-Benchを発表

研究者らは、LLMベースのエージェントシステムにおける自動ハーネス最適化を評価するベンチマーク、HarnessOpt-Benchを発表した。この設定では、LLMオプティマイザーが対象エージェントの初期ハーネス、採点済みの評価フィードバック、固定された評価予算を受け取り、ハーネスを編集して最終候補を提出する。候補は、ホールドアウトされたテスト分割で初期ハーネスに対してどれだけ正規化ゲインを得たかで採点され、信頼できる実行環境が評価範囲を強制し、リソース使用量を計測し、監査用にバージョンを保持する。