Investigadores proponen Skill Entropy para evaluar el razonamiento de los LLM

Un nuevo artículo presenta Skill Entropy, una métrica para evaluar la dificultad de cambiar entre habilidades de razonamiento dentro de tareas de LLM de varios pasos. Los autores también proponen Skill^2-Bench, un benchmark que abarca 558 habilidades en nueve dominios verificables y abiertos, e informan que ocho modelos de frontera y cuatro modelos open-source pierden precisión en tareas de mayor entropía. El artículo además propone Skill-Entropy RL, que usa la entropía de habilidades como señal de entrenamiento.