MemTrapBench pone a prueba las trampas cognitivas en el uso de memoria por los LLM

Investigadores presentaron MemTrapBench, un benchmark para evaluar cómo los recuerdos recuperados afectan el razonamiento de los grandes modelos de lenguaje en tareas actuales. El benchmark se centra en dos modos de fallo, Reasoning Fixation y Belief Distortion, en los que recuerdos registrados fielmente y semánticamente relevantes pueden distorsionar el razonamiento o las creencias. En dos familias de modelos y cinco marcos de memoria, todas las estrategias de memoria evaluadas rindieron peor que una configuración sin memoria, y los métodos más sólidos cayeron más de un 10%. Los autores también propusieron AdaptiveMem, un método en tiempo de inferencia diseñado para reducir estas trampas inducidas por la memoria.