論文、LLMのクロスモデル記憶転移を検証

新たなarXiv論文は、ある言語モデルで訓練したメモリテーブルを固定し、別のターゲットモデルに接続する「クロスモデル固定メモリ抽出」を研究している。この研究では、学習された記憶内容と正しいアドレッシングの双方が重要だと分かった一方、転移されたテーブルが有用になるのは、軽量なリーダーをターゲットモデルに適応させた場合に限られる。下流の質問応答タスクでは、2層・4分岐のリーダーが、提供された要旨抜粋で示されたギャップをほぼ埋めたと著者らは報告している。