Investigadores amplían la destilación on-policy entre modelos de IA

Varios artículos de investigación nuevos y actualizados proponen variantes de la destilación on-policy, un método de posentrenamiento que usa señales de un modelo profesor sobre trayectorias generadas por el modelo estudiante. Los trabajos abordan distintos modos de fallo: profesores multimodales con señales contradictorias, supervisión espuria a nivel de token, familias incompatibles de modelos de generación de imágenes, modelos de flujo con múltiples profesores, cascadas de llamadas a herramientas en agentes pequeños y entrenamiento de agentes multiturno de largo horizonte. Entre los métodos propuestos figuran OPOD, SA-OPD, Any-OPD, Poly-OPD, SOD y ATOD.