Pesquisadores propõem Skill Entropy para avaliar raciocínio em LLMs

Um novo artigo apresenta Skill Entropy, uma medida para avaliar a dificuldade de alternar entre habilidades de raciocínio em tarefas de LLM com várias etapas. Os autores também propõem o Skill^2-Bench, um benchmark que abrange 558 habilidades em nove domínios verificáveis e abertos, e relatam que oito modelos de fronteira e quatro modelos open-source perdem precisão em tarefas de maior entropia. O artigo ainda propõe o Skill-Entropy RL, que usa a entropia de habilidades como sinal de treinamento.