De nouveaux articles examinent l’information privilégiée dans l’OPSD

Trois nouveaux articles publiés sur arXiv se penchent sur l’auto-distillation on-policy, une approche de post-entraînement dans laquelle un modèle est entraîné à partir d’une vue enseignante privilégiée, puis fonctionne ensuite avec moins de contexte. L’un des articles soutient que les grilles d’évaluation peuvent servir d’information privilégiée dense pour la génération ouverte et, dans ses expériences, surpassent l’apprentissage par renforcement où la grille sert de récompense. Deux autres travaux se concentrent sur les modes de défaillance dans la distillation du raisonnement, en proposant Dual-Anchored Policy Distillation et Problem-Space-Guided OPSD afin de réduire la dépendance à des informations indisponibles au moment de l’inférence.