LoT、モデル学習なしでKB-VQAの精度を向上

研究者らは、知識ベースの視覚質問応答（KB-VQA）向けに、学習不要の推論時フレームワーク「Look Twice（LoT）」を発表した。LoTは、マルチモーダルモデル自身の注意パターンを使って、質問に関連する画像領域と検索されたテキスト文を選び、ノイズとなる内容を除外する。そのうえで、根拠を強調した形に入力を再構成してから回答を生成する。論文によると、4つのKB-VQAベンチマークと、2Bから38Bパラメータまでの既製マルチモーダルモデル10種で評価した結果、すべてのバックボーンで改善が見られ、平均で最大12.5ポイントの精度向上を報告している。