PTXBench testa LLMs em otimização de kernels de GPU

Pesquisadores apresentaram o PTXBench, um benchmark para avaliar e adaptar LLMs ao uso de PTX específico por arquitetura na otimização de kernels de GPU. A suíte mede a correção funcional, a execução em tempo de runtime de instruções-alvo selecionadas e o ganho de velocidade em relação a bibliotecas de ponta em cargas de trabalho de GEMM e atenção em GPUs NVIDIA H100 e B200. A avaliação encontrou capacidades irregulares: os modelos tiveram dificuldade em cargas complexas de retropropagação de atenção, a execução de instruções-alvo nem sempre resultou em desempenho competitivo, e nenhum modelo avaliado igualou de forma consistente as bibliotecas de ponta. Os autores também fizeram fine-tuning do Qwen3.6-27B e constataram que o treinamento condicionado a reparos melhorou algumas tarefas, mas generalizou de forma desigual.