Investigadores proponen nuevos métodos de destilación on-policy

Un conjunto de artículos en arXiv propone mejoras a la destilación on-policy, un enfoque de entrenamiento que supervisa a los modelos estudiantes a partir de trayectorias que ellos mismos generan. Los métodos incluyen Fisher-Projected OPD para modelos de visión-lenguaje, FutureBridge-OPD para tareas de agentes de múltiples turnos, SPOT para sondeo disperso y objetivos calibrados por resultados, y control consciente de la recuperabilidad para decidir si los estados de razonamiento divergentes deben conservarse, revertirse o supervisarse de forma normal. Las evaluaciones reportadas abarcan razonamiento de visión-lenguaje, ALFWorld, WebShop, ScienceWorld, AIME y GPQA-Diamond, y varios artículos afirman obtener mejoras frente a las líneas base de OPD vanilla.