ReflectRL treina modelos de raciocínio com trajetórias malsucedidas de especialistas

Pesquisadores apresentaram o ReflectRL, um framework leve e plug-and-play para melhorar o raciocínio de grandes modelos de linguagem durante o treinamento on-policy. O método usa “Golden Negative Trajectories”, saídas malsucedidas de modelos especialistas mais fortes, não como demonstrações a serem imitadas, mas como caminhos de raciocínio falhos sobre os quais o modelo deve refletir antes de transferir esse comportamento de volta para o raciocínio direto. Uma entrada no Hugging Face Daily Papers afirma que os autores avaliaram a abordagem em 9 benchmarks, 4 backbones de LLMs e 4 configurações on-policy.