Novos estudos testam autodestilação no aprendizado por reforço de LLMs

Vários novos artigos no arXiv examinam métodos de autodestilação para o pós-treinamento de grandes modelos de linguagem com aprendizado por reforço. Um deles propõe o Instruction-Conditioned Exploration, que adiciona instruções fixas de treinamento e destila rollouts corretos em uma política não condicionada para uso em teste, relatando ganho relativo de 5,0% no pass@1 em dados reservados em relação ao DAPO para o Qwen3-1.7B em raciocínio matemático com respostas de 4K de comprimento. Outro propõe o Observation-Calibrated Self-Distillation para RL agêntico, enquanto um terceiro relata que a autodestilação com informações privilegiadas consegue reproduzir ganhos em cenários fáceis, mas muitas vezes não melhora, e pode até reduzir, a acurácia de validação em tarefas mais difíceis de QA, matemática, programação e uso de ferramentas.