CALVER cuestiona la votación para el razonamiento causal de los LLM

Un nuevo artículo en arXiv presenta CALVER, un verificador simbólico sin entrenamiento para seleccionar entre trazas de razonamiento causal de LLM. Los autores señalan que la autoconsistencia puede fallar cuando hay muchas respuestas válidas, porque los errores de confusión repetidos y las respuestas válidas fragmentadas pueden hacer que gane una respuesta inválida. En consultas CLEAR de encontrar una respuesta válida, CALVER alcanzó el 42,1%, mientras que la pluralidad, un modelo de recompensa, un juez LLM y la confianza del modelo se mantuvieron cerca del 30% sobre los mismos conjuntos congelados.