AIによる音楽理解ツールの研究が前進
新たな論文群が、シンボリック音楽エージェント、スタイル条件付き編曲、マルチ楽器トランスクリプションに焦点を当てている。
なぜ重要か
これらの論文は、狭い生成システムから、構造、スタイル、楽器編成を表現できる音楽モデルへと重点が移りつつあることを示している。これにより、より制御しやすい共同制作ワークフローが可能になる。オープンウェイトのトランスクリプションと自己教師ありのシンボリック表現は、音楽AIパイプラインで再利用しやすい構成要素を研究者に提供し得る。
要点
- 1.自己教師ありのシンボリック埋め込みは、フレーズ、密度、和声構造を捉えた。
- 2.参照音源は、クロスモーダル・フレームワーク内でピアノ編曲のスタイル条件として使える。
- 3.MuScriptorは、実世界のマルチ楽器音楽に対応するオープンウェイトのトランスクリプションを目指している。
研究者らはarXivで複数のAI音楽システムを報告した。その中には、ラベルや音楽理論の語彙を使わず、MIDIピアノロール画像で訓練した、255万パラメータの自己教師ありSwin V2エンコーダーによるシンボリック音楽向けモデルが含まれる。この研究では、埋め込みの異なる階層が、異なる時間スケールで音楽的性質を符号化することが示された。また、小規模なコード教師ありヘッドにより、共同コード復元は.18から.54へ、調性検出は.16から.70へ改善した。別の論文では、参照音源で条件付けしたピアノ編曲のためのクロスモーダル・フレームワークと、実世界の録音からマルチ楽器を採譜するオープンウェイトモデルMuScriptorが紹介された。
⚡ 今日から使える
制御可能なスタイル転移、シンボリック理解、マルチ楽器トランスクリプションを必要とする音楽エージェントを構築する前に、これらの論文を読むべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
- arXiv cs.LGHelping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and GenerationAug 6, 12:00 PM↗
- arXiv cs.AILearning Music Style for Piano Arrangement Through Cross-Modal BootstrappingAug 5, 12:00 PM↗
- HF Daily PapersHelping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and GenerationAug 5, 4:00 AM↗
- arXiv cs.LGMuScriptor: An Open Model for Multi-Instrument Music TranscriptionAug 4, 12:00 PM↗
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
Google、準同型暗号でプライベートAIを前進
Googleは、準同型暗号を活用してプライベートAIをより実用的にしようとしていると説明している。
Google、プライベートAIの実用化を進めていると説明
Google Securityの投稿がHacker Newsで議論を呼び、AI全般への批判とも並んだ。
研究者ら、LLMを制御下で研究するためのLittleLearnerを公開
50億パラメータのモデルは、小学5年生以下のカリキュラムに基づく880億トークンのコーパスで訓練された。