Pesquisadores levam a destilação on-policy além dos professores tradicionais

Vários novos artigos no arXiv propõem formas de flexibilizar premissas centrais da destilação on-policy, em que um modelo aluno é treinado com estados ou amostras que ele próprio gera. O Any-OPD mira geradores de flow matching latente de diferentes famílias de modelos ao comparar saídas decodificadas de forma independente em uma representação visual congelada, enquanto o FutureBridge-OPD valida a orientação do professor testando seu efeito em trajetórias posteriores de agentes. Outros trabalhos propõem destilar alunos fortes a partir de pares de modelos mais fracos e projetar correções de professores de visão-linguagem para aquilo que um aluno compacto consegue representar localmente.