Pesquisadores propõem o DeepVoyager-VL para agentes multimodais
O framework mira buscas de longo horizonte em que evidências visuais orientam o raciocínio intermediário.
Por que importa
O artigo aborda uma limitação dos agentes multimodais: as evidências visuais muitas vezes são usadas apenas na entrada ou na etapa da resposta, não durante a recuperação e o raciocínio intermediários. Se for eficaz, a abordagem pode orientar o desenho de agentes para tarefas em mundo aberto que exigem buscas em múltiplas rodadas sobre evidências visuais em mudança.
Pontos-chave
- 1.O DeepVoyager-VL mira busca profunda multimodal de longo horizonte.
- 2.O framework usa aquisição visual ativa e carregamento de imagens sob demanda.
- 3.O trabalho se concentra em usar a visão para orientar a recuperação e o raciocínio intermediários.
Pesquisadores apresentaram o DeepVoyager-VL, um framework multimodal de busca profunda de longo horizonte para buscas com visão no loop. O trabalho usa um grafo de eventos multimodal para síntese de dados, projeta um agente para aquisição visual ativa e carregamento de imagens sob demanda, e ajusta modelos com os dados sintetizados. Uma entrada do Hugging Face Daily Papers reproduz a descrição do artigo no arXiv.
⚡ Experimente hoje
Leia o artigo antes de criar agentes multimodais de busca de longo horizonte que precisam de evidências visuais durante o raciocínio intermediário.
Fontes e reportagens originais
Este resumo sintetiza e linka a cobertura dos veículos abaixo.
- arXiv cs.AIMitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware InferenceAug 4, 12:00 PM↗
- arXiv cs.AIDeepVoyager-VL: Incentivizing Vision-in-the-Loop Search for Long-Horizon Multimodal AgentsAug 4, 12:00 PM↗
- arXiv cs.LGNarrativeTrack: Evaluating Entity-Centric Reasoning for Narrative UnderstandingAug 4, 12:00 PM↗
- arXiv cs.LGExperience-Calibrated Contrastive Decoding for Mitigating Hallucinations in LM-Based Text-to-SpeechAug 4, 12:00 PM↗
- HF Daily PapersDeepVoyager-VL: Incentivizing Vision-in-the-Loop Search for Long-Horizon Multimodal AgentsAug 3, 4:00 AM↗
Gostou deste resumo? Receba o próximo no seu e-mail.
Mais em Pesquisa
Google avança em IA privada com criptografia homomórfica
O Google afirma estar tornando a IA privada mais prática com o uso de criptografia homomórfica.
Google diz que está tornando a IA privada viável
Uma publicação do Google Security gerou discussão no Hacker News em meio a críticas mais amplas à IA.
Pesquisadores lançam LittleLearner para estudo controlado de LLMs
O modelo de 5 bilhões de parâmetros foi treinado em um corpus curricular de 88 bilhões de tokens com conteúdo até o 5º ano.