研究者ら、拡散モデルをピクセル空間へ押し広げる
2本の論文が、画像復元とテキストからの画像生成に向けたピクセル空間拡散手法を提案した。
なぜ重要か
これらの論文は、細かな画像ディテールを失ったりアーティファクトを生んだりし得る潜在空間のボトルネックを回避する動きへの関心が再び高まっていることを示している。また、ピクセル空間アプローチは、直接のピクセル空間事前学習ではなく段階的な訓練レシピと組み合わせることで、より実用的になり得ることも示唆している。
要点
- 1.PixRestoreは、統合的な画像復元のためにVAEを取り除いている。
- 2.直接的なピクセル空間事前学習は、潜在空間での訓練より収束が遅い。
- 3.潜在空間からピクセル空間への訓練では、推論速度が3.18倍から4.75倍高速化したと報告されている。
Hugging Face Daily Papersの2件のエントリーが、ピクセル空間拡散モデルに関する新たな研究を取り上げている。PixRestoreは、統合的な画像復元のために、VAEを使わないピクセル空間のDiffusion Transformerを提案する。モデルはゼロから訓練され、劣化を考慮した特徴信頼性に基づいて条件付けされる。別の実証研究では、ピクセル空間での直接的な大規模事前学習は潜在空間での訓練より収束が遅いことを示したうえで、潜在空間からピクセル空間へ移行する戦略を提案している。この手法は、潜在空間の同等モデルに匹敵する、または上回る性能を示しつつ、エンドツーエンドの推論速度を3.18倍から4.75倍高速化できるという。
⚡ 今日から使える
新たなピクセル空間拡散パイプラインに踏み切る前に、潜在空間からピクセル空間へ移行する訓練レシピを確認すべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
スタートアップ、AIによるがん治療の進展にはデータが鍵と指摘
TechCrunchによると、このスタートアップは、より良いデータがなければAIはがん治療の実現に近づいていないと主張している。
HarnessRisk、エージェント・ハーネスの安全性障害をベンチマーク
このベンチマークは、エージェント・ハーネスの各フェーズにおける攻撃を検証する。一方、関連研究ではタスクごとのプロビジョニングが検討されている。
Agent Lightning v1.0、ハーネス型エージェントRLを照準に
このフレームワークは、任意のエージェント・ハーネスを強化学習によるポストトレーニングに接続する。