LoT mejora la precisión en KB-VQA sin entrenar el modelo

Investigadores presentaron Look Twice, o LoT, un marco en tiempo de inferencia que no requiere entrenamiento para la respuesta visual a preguntas basada en conocimiento (KB-VQA). LoT utiliza los propios patrones de atención de un modelo multimodal para seleccionar regiones de imagen relevantes para la consulta y frases de texto recuperadas, filtrar contenido distractor y reformular la entrada con evidencias destacadas antes de generar la respuesta. En cuatro benchmarks de KB-VQA y 10 modelos multimodales listos para usar, de 2B a 38B parámetros, el artículo reporta mejoras en todos los backbones evaluados, con ganancias promedio de hasta 12,5 puntos de precisión.