Investigadores prueban arneses creados por IA para modelos más débiles

Un nuevo artículo estudia si un modelo “constructor” más potente puede mejorar en tiempo de prueba el rendimiento de un modelo más débil creando arneses de inferencia, sin modificar los parámetros del modelo más débil. En cuatro benchmarks de Teoría de la Mente, los constructores usaron el 5% de los datos como validación para refinar los arneses y luego los evaluaron en todo el conjunto de prueba. El enfoque casi duplicó el rendimiento medio del modelo objetivo, de 0,49 a 0,91, con mejoras atribuidas principalmente a código determinista, enrutamiento específico para cada benchmark y formato estricto de las respuestas.