Des chercheurs affinent la distillation on-policy pour les agents

Trois articles publiés sur arXiv examinent les limites de la distillation on-policy, où un modèle enseignant supervise des trajectoires générées par un modèle étudiant. FutureBridge-OPD teste de brèves interventions de l’enseignant dans des états de fort désaccord et fait état de gains sur ALFWorld, WebShop et ScienceWorld dans une configuration Qwen3-32B vers Qwen3-1.7B. SPOT utilise un sondage parcimonieux et des continuations évaluées par vérificateur pour décider où et quoi distiller, tandis qu’une méthode de récupérabilité contrefactuelle rejoue les états d’erreur afin de déterminer s’il faut conserver une trajectoire, revenir en arrière ou appliquer une supervision conventionnelle.