MemTrapBench、LLMの記憶利用に潜む認知的な落とし穴を検証

研究者らは、検索された記憶が現在のタスクにおける大規模言語モデルの推論にどう影響するかを評価するベンチマーク、MemTrapBenchを発表した。このベンチマークは、忠実に記録され意味的にも関連する記憶が推論や信念を歪め得る2つの失敗パターン、Reasoning FixationとBelief Distortionに焦点を当てている。2つのモデルファミリーと5つの記憶フレームワークを対象にした評価では、検証されたすべての記憶戦略が記憶なしの設定を下回り、最も強力な手法でも10%以上の低下が見られた。著者らはまた、記憶に起因するこうした落とし穴を減らすことを狙った推論時手法、AdaptiveMemも提案した。