Investigadores llevan la destilación on-policy más allá de los docentes estándar

Varios nuevos artículos en arXiv proponen formas de flexibilizar supuestos centrales de la destilación on-policy, en la que un modelo estudiante se entrena con estados o muestras que genera por sí mismo. Any-OPD se orienta a generadores latentes de flow matching de distintas familias de modelos comparando salidas decodificadas de forma independiente dentro de una representación visual congelada, mientras que FutureBridge-OPD valida la guía del docente probando su efecto en trayectorias posteriores de agentes. Otros trabajos proponen destilar estudiantes fuertes a partir de pares de modelos más débiles y proyectar las correcciones de docentes de visión-lenguaje sobre lo que un estudiante compacto puede representar localmente.