AI4AI-Bench pone a prueba a los agentes en el diseño de algoritmos de entrenamiento

Un nuevo artículo en arXiv presenta AI4AI-Bench, un benchmark para comprobar si los agentes basados en LLM pueden diseñar mejores algoritmos de entrenamiento, una capacidad que los autores sitúan como clave para la automejora recursiva. El benchmark abarca 10 repositorios de investigación congelados correspondientes a 10 familias de algoritmos de entrenamiento; en cada tarea, un agente dispone de 4 horas en una B300 para reescribir el algoritmo de entrenamiento, tras lo cual su código se vuelve a ejecutar desde cero durante hasta 12 horas y se puntúa mediante un evaluador fijo y oculto frente al algoritmo original. Una discusión en Reddit señala que el planteamiento usa una definición más estrecha de automejora recursiva, porque tanto el modelo subyacente como el evaluador permanecen fijos, en lugar de que el modelo modifique sus propios pesos.