MemTrapBench testa armadilhas cognitivas no uso de memória por LLMs

Pesquisadores apresentaram o MemTrapBench, um benchmark para avaliar como memórias recuperadas afetam o raciocínio de grandes modelos de linguagem em tarefas atuais. O benchmark se concentra em dois modos de falha, Fixação de Raciocínio e Distorção de Crenças, nos quais memórias registradas fielmente e semanticamente relevantes podem distorcer raciocínios ou crenças. Em duas famílias de modelos e cinco frameworks de memória, todas as estratégias de memória avaliadas ficaram abaixo de uma configuração sem memória, com os métodos mais fortes registrando queda superior a 10%. Os autores também propuseram o AdaptiveMem, um método em tempo de inferência voltado a reduzir essas armadilhas induzidas pela memória.