HarnessOpt-Bench、LLMのハーネス最適化能力を検証

研究者らは、エージェント型システムを取り巻くハーネスをLLMがどの程度最適化できるかを測定するベンチマーク、HarnessOpt-Benchを発表した。このプロトコルでは、LLMオプティマイザーがシードとなるハーネス、採点済みの評価フィードバック、固定された評価予算を受け取り、ハーネスを編集したうえで、ホールドアウトされたテスト分割における正規化ゲインで採点される最終候補を提出する。ベンチマークは、評価範囲を強制し、対象エージェントのリソース使用量を計測し、監査のために候補バージョンを保存する信頼済み実行環境を使用する。