Pesquisadores treinam modelos de mundo musicais autossupervisionados

Dois artigos no arXiv descrevem abordagens para geração e arranjo musical que se apoiam em representações aprendidas, em vez de rótulos explícitos de teoria musical. Um deles apresenta um codificador Swin V2 com 2,55 milhões de parâmetros, treinado em imagens de piano-roll MIDI com objetivos no estilo JEPA, e constata que informações de fraseado, densidade e harmonia surgem em diferentes níveis da hierarquia; a supervisão de acordes melhorou a recuperação conjunta de acordes de 0,18 para 0,54 e a detecção não supervisionada de tonalidade de 0,16 para 0,70. O outro apresenta uma estrutura multimodal que extrai representações de estilo de um modelo de linguagem de áudio pré-treinado com um Q-Former e as usa para condicionar um modelo de linguagem simbólica para arranjos de piano.