ReflectRL entrena modelos de razonamiento con trayectorias expertas fallidas

Investigadores presentaron ReflectRL, un marco ligero y plug-and-play para mejorar el razonamiento de los grandes modelos de lenguaje durante el entrenamiento on-policy. El método utiliza “Golden Negative Trajectories”, salidas fallidas de modelos expertos más potentes, no como demostraciones que imitar, sino como rutas de razonamiento defectuosas sobre las que el modelo reflexiona antes de transferir ese comportamiento de vuelta al razonamiento directo. Una entrada de Hugging Face Daily Papers afirma que los autores evaluaron el enfoque en 9 benchmarks, 4 bases de LLM y 4 configuraciones on-policy.