CALVER stellt Abstimmungen für kausales Schlussfolgern von LLMs infrage

Ein neues arXiv-Paper stellt CALVER vor, einen trainingsfreien symbolischen Verifizierer zur Auswahl zwischen kausalen Schlussfolgerungsspuren von LLMs. Die Autoren berichten, dass Self-Consistency scheitern kann, wenn viele Antworten gültig sind, weil wiederholte Confounding-Fehler und fragmentierte gültige Antworten dazu führen können, dass eine ungültige Antwort gewinnt. Bei CLEAR-Abfragen vom Typ „find-one-valid“ erreichte CALVER 42,1 %, während Plurality Voting, ein Reward Model, ein LLM-Judge und Modellkonfidenz auf denselben eingefrorenen Pools nahe 30 % blieben.