MemTrapBench testet kognitive Fallen beim Speichereinsatz von LLMs

Forschende haben MemTrapBench vorgestellt, einen Benchmark zur Bewertung, wie abgerufene Erinnerungen das Schlussfolgern großer Sprachmodelle bei aktuellen Aufgaben beeinflussen. Der Benchmark konzentriert sich auf zwei Fehlermodi: Reasoning Fixation und Belief Distortion, bei denen korrekt gespeicherte und semantisch relevante Erinnerungen Schlussfolgerungen oder Überzeugungen verzerren können. Über zwei Modellfamilien und fünf Speicher-Frameworks hinweg schnitten alle untersuchten Speicherstrategien schlechter ab als ein Setup ohne Speicher; selbst die stärksten Methoden fielen um mehr als 10 % zurück. Die Autoren schlugen außerdem AdaptiveMem vor, eine Methode zur Inferenzzeit, die solche speicherbedingten Fallen verringern soll.