JoyAI-Video-Edit、リアルタイム動画編集を狙う
160億パラメータの自己回帰型拡散システムが、1基のNvidia B200上で720p動画を約30FPSで編集する。
なぜ重要か
この研究は、インタラクティブな動画編集における中核的なボトルネック、すなわち低遅延かつ計算資源が限られた条件下で時間的一貫性を維持する課題に取り組んでいる。再現できれば、ストリーミング型とオフライン型のAI動画編集システムの品質差を縮める可能性がある。
要点
- 1.160億パラメータの自己回帰型拡散モデルが、自由度の高いストリーミング編集に対応する。
- 2.システムは1基のNvidia B200 GPUで720p編集を約30FPSで実行できると報告している。
- 3.評価では、ストリーミング編集システムを上回り、オフラインシステムにも競争力を示した。
研究者らは、リアルタイムで自由度の高い動画編集に向けた160億パラメータの自己回帰型拡散フレームワーク「JoyAI-Video-Edit」を発表した。同システムは、チャンク単位の自己回帰適応、Source-Anchored Distribution Matching Distillation、Long-Horizon Autoregressive Distillationを用いることで、未来フレームや事前に定めた動画尺に依存せず、元映像への忠実度を保ちながら時間方向のドリフトを抑える。報告された自動評価と人手評価では、既存のストリーミング編集システムを上回り、短尺・長尺動画の双方で有力なオフラインシステムにも競争力を示した。
⚡ 今日から使える
B200クラスのハードウェアでリアルタイム720p編集ワークフローを試す前に、コードと論文を確認したい。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。