Novos benchmarks testam se agentes de LLM conseguem se aprimorar sozinhos

Vários novos artigos no arXiv avaliam se agentes de LLM conseguem melhorar com experiência acumulada, bibliotecas externas de habilidades e exposição contínua a tarefas. O ContinualSkillBench apresenta um benchmark em cinco domínios, com 100 subtarefas conectadas por domínio, e conclui que a execução sequencial muitas vezes melhora o desempenho, embora os ganhos variem conforme o modelo e o domínio. O trabalho relacionado também aponta que a manutenção explícita de habilidades não é consistentemente melhor do que a adaptação em contexto, enquanto métodos de recuperação de habilidades sensíveis ao domínio e de memória seletiva podem ajudar em cenários mais restritos.