MirageBench mostra que LLMs inferem demais perfis de usuários
Um novo benchmark afirma que 12 modelos testados inventaram atributos de usuários sem suporte em taxas elevadas.
Por que importa
Os resultados levantam preocupações de confiabilidade para sistemas de IA que constroem perfis persistentes de usuários para personalização. Eles também sugerem que o automonitoramento dos modelos pode ser um controle fraco para detectar afirmações de personalização sem suporte.
Pontos-chave
- 1.Todos os 12 modelos avaliados inferiram atributos de usuários além do que os dados sustentavam.
- 2.O MirageBench avaliou 143.616 afirmações em 150 personas.
- 3.As autoavaliações dos modelos não acompanharam de forma confiável a inferência excessiva medida.
Pesquisadores apresentaram o MirageBench para testar a inferência excessiva em LLMs personalizados com memória persistente. Em 150 personas, seis tarefas de personalização e 143.616 afirmações avaliadas, todos os 12 modelos analisados inferiram além do que os dados sustentavam em 35% a 49% das afirmações, com média de 41,6% entre os modelos. O estudo também identificou uma “Inversão de Automonitoramento” exploratória, na qual a autoavaliação dos modelos sobre inferência excessiva teve correlação negativa por ranking com a inferência excessiva medida pelos avaliadores.
⚡ Experimente hoje
Audite recursos de LLMs personalizados em busca de inferências sem suporte sobre perfis de usuários, em vez de depender das autoavaliações dos modelos.
Fontes e reportagens originais
Este resumo sintetiza e linka a cobertura dos veículos abaixo.
Gostou deste resumo? Receba o próximo no seu e-mail.
Mais em Pesquisa
Novos estudos investigam inteligência espacial em IA de visão
SpaRRTa, SMA e PinpointQA testam ou aprimoram o raciocínio espacial em sistemas de IA visual e incorporada.
CW-BASS v2 mira a seleção de pseudo-rótulos com DINOv2
O método adapta a filtragem para segmentação semissupervisionada com professores baseados em modelos de fundação.
Estudo mapeia o uso do ChatGPT Enterprise em organizações
O artigo no arXiv conecta registros de contas empresariais a cargos, tarefas e dados de empresas até março de 2026.