HarnessOpt-Bench pone a prueba a los LLM en la optimización de harnesses

Investigadores presentaron HarnessOpt-Bench, un benchmark para medir qué tan bien pueden los LLM optimizar los harnesses que rodean a los sistemas agénticos. En el protocolo, un LLM optimizador recibe un harness inicial, retroalimentación de evaluación calificada y un presupuesto de evaluación fijo, edita el harness y presenta un candidato final puntuado por ganancia normalizada en una partición de prueba reservada. El benchmark usa un entorno de ejecución de confianza para hacer cumplir los límites de evaluación, medir el uso de recursos del agente objetivo y conservar versiones candidatas para auditoría.