この論文は、動画を生成するための良い「潜在表現」を作る方法を示します。研究者たちは、すでに高い動画理解能力を持つ動画基盤モデル（Video Foundation Models、VFM）の出力を凍結（学習させずに固定）したまま使い、その多層的な特徴を圧縮して生成に適した潜在表現を作る仕組みを提案しました。提案モデルはVideoRAEと呼ばれます。

具体的には、V-JEPA 2やVideoMAEv2といった既存のVFMから得られるマルチスケールの階層的特徴を取り出します。取り出した特徴は、軽量な1次元セルフアテンションの射影器（projector）で圧縮されます。こうして得た潜在は、連続値のまま拡散（Diffusion）系のモデルで使える形にもできますし、複数のコードブックを使った高次元量子化（ディスクリート化）を通じて自己回帰（autoregressive）モデル用のトークンにも変換できます。

復元（デコーディング）の際は、固定したVFMを教師として利用する新しい目的関数を採用しました。局所的な特徴と全体的な表現を合わせる「ローカル＆グローバル表現整合」の損失を導入することで、意味的な情報を保ちつつ学習でき、従来の変分オートエンコーダで使われるようなKL正則化を必要としない点が特徴です。

実験では、VideoRAEは連続・離散の両方の設定で強い復元性能を示しました。標準データセットUCF-101では、クラスから動画を生成する評価で、自己回帰（AR）生成器とDiffusion Transformer（DiT）生成器に対してそれぞれgFVDで40と93という最先端の結果を報告しています。また、既存のオートエンコーダ系のベースラインに比べて学習収束が約5倍速かったとしています。さらに、2Bパラメータ規模のテキスト→動画の制御実験で、従来のLTX-VAEをVideoRAEに置き換えると収束が早くなったと報告しています。モデルとコードは公開予定です。

重要な注意点として、これらの結果は論文内の実験範囲に基づきます。著者らは「凍結したVFMの表現が生成に適している」と結論していますが、汎用性や他のデータセットやタスクでの振る舞いについてはさらに検証が必要です。また、gFVDなどの評価値は論文で提示された特定の設定に依る指標です。VideoRAEは既存の強力なVFMに依存する設計なので、その性能は元の基盤モデルの性質に左右されます。