Des chercheurs repoussent la distillation on-policy au-delà des enseignants classiques

Plusieurs nouveaux articles sur arXiv proposent des moyens d’assouplir les hypothèses centrales de la distillation on-policy, où un modèle étudiant est entraîné sur des états ou des échantillons qu’il génère lui-même. Any-OPD vise des générateurs latents à flow matching issus de familles de modèles différentes en comparant des sorties décodées indépendamment dans une représentation visuelle figée, tandis que FutureBridge-OPD valide le guidage de l’enseignant en testant son effet sur les trajectoires ultérieures des agents. D’autres articles proposent de distiller des étudiants performants à partir de paires de modèles plus faibles et de projeter les corrections d’enseignants vision-langage sur ce qu’un étudiant compact peut représenter localement.