MemTrapBench teste les pièges cognitifs liés à l’usage de la mémoire par les LLM

Des chercheurs ont présenté MemTrapBench, un benchmark destiné à évaluer la façon dont les souvenirs récupérés influencent le raisonnement des grands modèles de langage sur des tâches en cours. Il se concentre sur deux modes d’échec, Reasoning Fixation et Belief Distortion, dans lesquels des souvenirs fidèlement enregistrés et sémantiquement pertinents peuvent déformer le raisonnement ou les croyances. Sur deux familles de modèles et cinq frameworks de mémoire, toutes les stratégies de mémoire évaluées ont fait moins bien qu’une configuration sans mémoire, les méthodes les plus solides reculant de plus de 10 %. Les auteurs ont également proposé AdaptiveMem, une méthode à l’inférence conçue pour réduire ces pièges induits par la mémoire.