Des chercheurs entraînent des modèles du monde musicaux auto-supervisés

Deux articles publiés sur arXiv décrivent des approches de génération et d’arrangement musicaux qui s’appuient sur des représentations apprises plutôt que sur des étiquettes explicites de théorie musicale. Le premier présente un encodeur Swin V2 de 2,55 millions de paramètres entraîné sur des images de piano-roll MIDI avec des objectifs de type JEPA, et constate que les informations de phrase, de densité et d’harmonie émergent à différents niveaux de la hiérarchie ; la supervision des accords a amélioré la récupération conjointe des accords de 0,18 à 0,54 et la détection non supervisée de la tonalité de 0,16 à 0,70. Le second introduit un cadre multimodal qui extrait des représentations de style à partir d’un modèle de langage audio pré-entraîné au moyen d’un Q-Former, puis les utilise pour conditionner un modèle de langage symbolique destiné aux arrangements pour piano.