Forschende testen KI-gebaute Harnesses für schwächere Modelle

Eine neue Studie untersucht, ob ein stärkeres „Builder“-Modell ein schwächeres Modell zur Testzeit verbessern kann, indem es Inferenzzeit-Harnesses konstruiert, ohne die Parameter des schwächeren Modells zu verändern. Bei vier Theory-of-Mind-Benchmarks nutzten die Builder 5 % der Daten zur Validierung, um die Harnesses zu verfeinern, und evaluierten sie anschließend auf dem gesamten Testsatz. Der Ansatz verdoppelte die durchschnittliche Leistung der Zielmodelle nahezu von 0,49 auf 0,91; die Zugewinne werden vor allem deterministischem Code, benchmarkspezifischem Routing und strikter Antwortformatierung zugeschrieben.