AI論文、マルチモーダルQAにおける視覚的証拠に照準

複数の新しいarXiv論文が、マルチモーダルモデルや視覚言語モデルが質問応答や関連タスクで、関連性の高い視覚情報や検索された証拠に集中できるようにする手法を提案している。Look Twiceは推論時にモデル内部のattentionを使い、クエリに関連する画像領域とテキスト文を強調する手法で、4つのKB-VQAベンチマークと10種類の既製MLLMで性能向上を報告している。ほかの論文では、KB-VQA向けの異種ソース検索、動画QA向けの動的潜在推論、より効率的なVLM推論のための反復的な視覚トークン選択が紹介されている。