HarnessOpt-Bench teste les LLM sur l’optimisation des harnais

Des chercheurs ont présenté HarnessOpt-Bench, un benchmark destiné à mesurer dans quelle mesure les LLM peuvent optimiser les harnais qui entourent les systèmes agentiques. Dans ce protocole, un LLM optimiseur reçoit un harnais initial, des retours d’évaluation notés et un budget d’évaluation fixe, modifie le harnais, puis soumet un candidat final évalué selon le gain normalisé sur une partition de test mise de côté. Le benchmark s’appuie sur un environnement d’exécution de confiance pour faire respecter les limites d’évaluation, mesurer l’usage des ressources par l’agent cible et conserver les versions candidates à des fins d’audit.