Forscher trainieren selbstüberwachte Music World Models

Zwei arXiv-Paper beschreiben Ansätze für Musikgenerierung und Arrangement, die auf gelernten Repräsentationen statt auf expliziten musiktheoretischen Labels beruhen. Eines stellt einen Swin V2-Encoder mit 2,55 Mio. Parametern vor, der mit JEPA-ähnlichen Zielen auf MIDI-Piano-Roll-Bildern trainiert wurde. Die Autoren zeigen, dass Phrasen-, Dichte- und Harmonieinformationen auf unterschiedlichen Hierarchieebenen auftreten; Akkord-Supervision verbesserte die gemeinsame Akkorderkennung von 0,18 auf 0,54 und die unüberwachte Tonarterkennung von 0,16 auf 0,70. Das andere Paper führt ein cross-modales Framework ein, das mit einem Q-Former Stilrepräsentationen aus einem vortrainierten Audio-Sprachmodell extrahiert und sie nutzt, um ein symbolisches Sprachmodell für Klavierarrangements zu konditionieren.