LoT, 모델 학습 없이 KB-VQA 정확도 높여

연구진은 지식 기반 시각 질의응답(KB-VQA)을 위한 학습 불필요 추론 시점 프레임워크인 Look Twice(LoT)를 공개했다. LoT는 멀티모달 모델 자체의 attention 패턴을 활용해 질문과 관련 있는 이미지 영역과 검색된 텍스트 문장을 선택하고, 방해가 되는 콘텐츠를 걸러낸 뒤, 답변 생성 전에 강조된 근거를 포함하도록 입력을 재구성한다. 논문에 따르면 4개 KB-VQA 벤치마크와 2B부터 38B 파라미터 규모의 기성 멀티모달 모델 10종에서 평가한 모든 backbone의 성능이 개선됐으며, 평균 최대 12.5 정확도 포인트의 향상이 보고됐다.