Investigadores entrenan modelos de mundo musicales autosupervisados

Dos papers en arXiv describen enfoques para la generación y el arreglo musical que se apoyan en representaciones aprendidas en lugar de etiquetas explícitas de teoría musical. Uno presenta un codificador Swin V2 de 2,55M de parámetros entrenado con imágenes MIDI de piano-roll mediante objetivos al estilo JEPA, y encuentra que la información sobre fraseo, densidad y armonía aparece en distintos niveles de la jerarquía; la supervisión de acordes mejoró la recuperación conjunta de acordes de 0,18 a 0,54 y la detección no supervisada de tonalidad de 0,16 a 0,70. Otro introduce un marco cross-modal que extrae representaciones de estilo de un modelo de lenguaje de audio preentrenado con un Q-Former y las usa para condicionar un modelo de lenguaje simbólico para arreglos de piano.