PTXBench pone a prueba a los LLM en la optimización de kernels para GPU

Investigadores presentaron PTXBench, un benchmark para evaluar y adaptar LLMs al uso de PTX específico de cada arquitectura en la optimización de kernels para GPU. La suite mide la corrección funcional, la ejecución en tiempo de ejecución de instrucciones objetivo seleccionadas y la mejora de velocidad frente a bibliotecas de frontera en cargas de trabajo GEMM y de atención sobre GPU NVIDIA H100 y B200. La evaluación detectó capacidades desiguales: los modelos tuvieron dificultades con cargas complejas de retropropagación en atención, la ejecución de instrucciones objetivo no siempre produjo un rendimiento competitivo y ningún modelo evaluado igualó de forma consistente a las bibliotecas de frontera. Los autores también ajustaron Qwen3.6-27B y observaron que el entrenamiento condicionado a reparación mejoró algunas tareas, aunque generalizó de manera irregular.