Artigos miram o equilíbrio entre modalidades no raciocínio de MLLMs

Pesquisadores descreveram o Attention-Guided Switching, uma estratégia de inferência sem treinamento para grandes modelos de linguagem multimodais que usa uma razão de atenção entre visão e texto para decidir quando recorrer ao raciocínio latente para tokens perceptivos e ao raciocínio explícito para etapas lógicas. Uma entrada separada do HF Daily Papers descreveu o OPD-V, uma abordagem visual de autodestilação on-policy que trata o equilíbrio entre modalidades como informação privilegiada e seleciona tokens on-policy por meio de uma região de confiança baseada nesse equilíbrio. O relatório sobre o OPD-V afirma que os experimentos abrangem seis benchmarks, mas o trecho da fonte fornecida não inclui resultados.