Forscher verfeinern On-Policy-Distillation für Agenten

Drei arXiv-Paper befassen sich mit Grenzen der On-Policy-Distillation, bei der ein Lehrer-Modell Trajektorien überwacht, die von einem Schüler-Modell erzeugt werden. FutureBridge-OPD testet kurze Lehrer-Interventionen in Zuständen mit hoher Uneinigkeit und berichtet Verbesserungen auf ALFWorld, WebShop und ScienceWorld in einem Qwen3-32B-zu-Qwen3-1.7B-Setting. SPOT nutzt sparse Probing und von Verifiern bewertete Fortsetzungen, um zu entscheiden, wo und was destilliert werden soll, während eine Methode zur kontrafaktischen Wiederherstellbarkeit Fehlerzustände erneut abspielt, um zu entscheiden, ob eine Trajektorie beibehalten, zurückgerollt oder konventionell überwacht werden soll.