LoT aumenta a precisão em KB-VQA sem treinamento do modelo

Pesquisadores apresentaram o Look Twice, ou LoT, um framework em tempo de inferência, sem necessidade de treinamento, para resposta visual a perguntas baseada em conhecimento. O LoT usa os próprios padrões de atenção de um modelo multimodal para selecionar regiões da imagem relevantes para a consulta e frases de textos recuperados, filtrar conteúdo distrativo e reformular a entrada com evidências destacadas antes da geração da resposta. Em quatro benchmarks de KB-VQA e 10 modelos multimodais prontos para uso, de 2B a 38B parâmetros, o artigo relata melhorias em todos os backbones avaliados, com ganhos médios de até 12,5 pontos de acurácia.