Pesquisadores miram falhas de destilação on-policy em agentes

Um conjunto de artigos recentes no arXiv propõe novas formas de treinar agentes de modelos de linguagem integrados a ferramentas e capazes de operar em múltiplos turnos, usando destilação on-policy e aprendizado por reforço. Os métodos incluem TurnSight, SOD, ATOD, PG-OPD e RSTG, todos voltados a problemas de confiabilidade como recompensas esparsas, erros em cascata nas chamadas de ferramentas, divergência entre professor e aluno, rollouts longos ineficientes e perda de gradientes em grupos de recompensa com variância zero. Os artigos relatam experimentos em tarefas de raciocínio de longo horizonte, matemática, ciência, código e agentes interativos, mas os resumos fornecidos não estabelecem um único líder de benchmark entre todos os métodos.