PhiZero:映像から学んだ「物理言語」で未来の動きを推論して動画を作る世界モデル
この論文は、映像から「物理言語」と呼ぶコンパクトな離散表現を学び、その言語の上で未来の世界の動きを推論してから映像に戻す世界モデル、PhiZero を提案します。物理言語は映像に現れる状態の変化(たとえば物が落ちる、注ぐ動きが進む)を符号化したもので、まず動きのパターンを言語の列として推論し、それをもとに高画質な動画を生成します。こうした「推論してから描く(reason-then-render)」方針が中心です。
研究者たちはラベルのない野外動画(in-the-wild videos)から自己教師ありで物理言語を学びます。モデルは二つの主要部分で構成されています。1) Physical Language Tokenizer(物理言語トークナイザー)は、隣接するフレーム間の変化をとらえるために時空間エンコーダと「トランジションレベルのQ-Former」を使い、有限スカラー量子化(FSQ)で離散トークン列に圧縮します。2) Diffusion Decoder(拡散デコーダ)は、最初のフレーム(現在の見た目を固定するため)と物理言語の列を条件にして未来の映像を再構成します。加えて、Physical Language Reasoner(物理言語推論器)は、事前学習済みの視覚言語モデルを初期化に使い、最初のフレームとテキストで与えた行動の意図から物理言語列を逐次予測します。
この手法が重要なのは、動きの推論(ダイナミクス)と画素レベルの見た目生成を切り離す点です。これにより、見た目の細部は生成器(拡散デコーダ)に任せつつ、状態変化の構造だけをコンパクトな記号列で扱えます。論文は、物理的に一貫した世界の進化をモデル化する能力を検証するために、生成と理解のベンチマークで広範な実験を行ったと述べています。また、対話的なロールアウト(連続入力でのシミュレーション)、細かな行動条件付きのシミュレーション、そしてゼロショットの動作転移(訓練していない動きを別の主体に適用する試み)といった応用の可能性を示しています。
重要な注意点として、ここでいう「物理」は広い意味での物理世界の変化を指しており、物理法則を記述する厳密な記号体系を学ぶという意味とは区別されています。モデルはラベルのない実世界動画に依存して学習するため、学習データの偏りや多様性が結果に影響します。また、論文抜粋では具体的な定量結果や限界の詳細がすべて示されているわけではありません。さらに、方法は事前学習済みの生成器や視覚言語モデルに依拠しており、これらの性能や事前学習データが最終結果に大きく影響する点も重要な制約です。
要するに、PhiZero は映像から学んだ簡潔な「物理言語」を中間表現として使い、世界の動きを明示的に推論してから高品質な動画を生成する新しい枠組みを示しています。実世界データから動きのパターンを抽象化して扱える点は有望です。ただし「物理言語」がどこまで複雑な力学や未知の場面に対応できるかなど、さらなる検証が必要だという点には注意が必要です。