WorldRoverエンジン、注釈付き合成動画データを生成
Unreal Engineのパイプラインが、深度、カメラ経路、アクション信号を備えた長尺の探索映像を生成する。
なぜ重要か
ワールドモデルやインタラクティブ動画システムの学習には、RGBだけでなく、形状、動き、制御信号を含むデータが必要になる。WorldRoverは、実世界の撮影から大規模に得るのが難しい、整合した合成注釈によってその不足を補うことを狙っている。
要点
- 1.WorldRoverは、アーティストが構築した環境内の分単位の経路をレンダリングする。
- 2.各シーケンスはRGBに、深度、カメラ軌跡、アクション信号を組み合わせる。
- 3.探索は複数の視点や環境状態で再生できる。
研究者らは、アーティストが構築した環境の探索映像を豊富な注釈付きで生成する合成動画データエンジン、WorldRoverを発表した。Unreal Engineを使った同パイプラインは、分単位の経路をオフラインでレンダリングしながら、全軌跡とシーン形状を保持する。同じ探索を、一人称、三人称、360度パノラマカメラで、異なる環境状態のもと再生することもできる。チームはこれを用いてWorldRover-10Mを構築し、RGB動画にメートル単位の深度、カメラ軌跡、軌跡から導いたアクション信号を組み合わせた。
⚡ 今日から使える
深度、軌跡、アクションラベルを必要とする動画ワールドモデル用データセットを構築する前に、WorldRover-10Mを確認したい。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。
関連： プロダクト
Robin Williams’ Instagram account brought back to fight ‘AI abuse’
Robin Williams' children are taking over their father's Instagram account after his daughter spoke out against the use of his AI likeness, as reported earlier b
IBM、AIエージェントに必要なメモリ量を検証
ALTK-Evolveの研究で、エージェントのメモリ効果はモデルの性能と提供方法に左右されることが示された。
Warp、AI開発向け「Warp Factories」を発表
AIソフトウェアファクトリーの構築を簡素化することを狙ったシステムだ。