CALVER remet en question le vote pour le raisonnement causal des LLM

Un nouvel article publié sur arXiv présente CALVER, un vérificateur symbolique sans entraînement conçu pour choisir entre plusieurs traces de raisonnement causal produites par des LLM. Selon les auteurs, la self-consistency peut échouer lorsque de nombreuses réponses sont valides, car des erreurs de confusion répétées et des réponses valides fragmentées peuvent permettre à une réponse invalide de l’emporter. Sur les requêtes CLEAR de type find-one-valid, CALVER a atteint 42,1 %, tandis que le vote à la pluralité, un modèle de récompense, un juge LLM et la confiance du modèle sont restés proches de 30 % sur les mêmes ensembles figés.