DyPES-VLA、異なる身体をまたぐロボット制御を目指す

研究者らは、異なる身体をまたいだロボット操作に向けた視覚・言語・行動モデル、DyPES-VLAを提案した。この手法は、異なる身体のデータに対して未来予測を目的関数として視覚・言語モデルを訓練し、物体の動き、接触、相互作用によって生じるシーン変化を捉える。さらに、身体ごとのmixture-of-expertsアクションヘッドを使い、共有されたダイナミクス事前知識を、手動のアクション事前整列なしに、各ロボット身体のネイティブなアクション空間での制御へ変換する。