Nuevos benchmarks evalúan si los agentes LLM pueden mejorar por sí mismos

Varios nuevos artículos en arXiv evalúan si los agentes LLM pueden mejorar mediante experiencia acumulada, bibliotecas externas de habilidades y exposición a tareas en flujo continuo. ContinualSkillBench presenta un benchmark de cinco dominios, con 100 subtareas conectadas por dominio, y concluye que la ejecución secuencial a menudo mejora el rendimiento, aunque los avances varían según el modelo y el dominio. El trabajo relacionado también señala que el mantenimiento explícito de habilidades no supera de forma consistente a la adaptación dentro del contexto, mientras que la recuperación de habilidades sensible al campo y los métodos de memoria selectiva pueden ayudar en entornos más acotados.