CALVER、LLMの因果推論における投票方式に一石

新たなarXiv論文が、LLMの因果推論トレースから解を選ぶための、学習不要の記号的検証器「CALVER」を紹介した。著者らによると、有効な答えが多数存在する場合、自己一貫性は失敗し得る。交絡に関する誤りが繰り返され、有効な答えが分散することで、無効な答えが勝ってしまうためだ。CLEARのfind-one-validクエリでは、同じ固定プール上で複数決、報酬モデル、LLMジャッジ、モデル信頼度がいずれも30%前後にとどまる一方、CALVERは42.1%に達した。