動画・オムニモーダルLLMのトークンコスト削減に研究が集中

最近発表された6本の論文が、マルチモーダル大規模言語モデルにおける画像、音声、動画のトークン負荷を減らす手法を示した。提案されているのは、動画全体を対象にした時空間的な枝刈り、再帰的なトークン融合、オフラインのコードブック圧縮、音声・動画間の明示的な予算配分、テキスト量の多い入力に対するエビデンス認識型の枝刈り、そしてオムニモーダルモデル向けのLLM投入前と内部での協調的圧縮などだ。複数の論文は、動画、OCR中心、音声・視覚ベンチマークで、使用トークン数を減らしながら精度を維持できたと報告している。