CALVER desafia a votação no raciocínio causal de LLMs

Um novo artigo no arXiv apresenta o CALVER, um verificador simbólico sem treinamento para selecionar entre cadeias de raciocínio causal geradas por LLMs. Os autores relatam que a autoconsistência pode falhar quando muitas respostas são válidas, porque erros de confundimento repetidos e respostas válidas fragmentadas podem fazer uma resposta inválida vencer. Em consultas CLEAR do tipo “encontre uma resposta válida”, o CALVER chegou a 42,1%, enquanto pluralidade, um modelo de recompensa, um juiz LLM e a confiança do modelo ficaram perto de 30% nos mesmos conjuntos congelados.