監査・修復の文脈でLLMチェッカーがより寛容になるとの研究結果

新たなarXiv論文は、自動化された監査・修復パイプラインが、その後のタスクに対するLLM検証器の判断を変えるかどうかを調べた。人間が正しいと確認したProcessBenchのトレースでは、完了済みの監査・修復エピソードを文脈に含めると、同じ長さにそろえた非監査の対照条件に比べ、15通りすべてのモデルと文言の組み合わせで誤警報が2.8〜11.5ポイント低下した。著者らは、この効果を識別能力の向上ではなく、検証器の判定しきい値が変化したためだとみている。