VBVR‑Pro:画像や動画を「考える道具」として扱うための検証可能な実験環境を公開
この論文は、画像や動画を単なる入力や出力ではなく、推論そのものの「媒体」として扱う研究を進めるための実験基盤、VBVR‑Proを導入します。VBVR‑Proは閉ループのテストベッドで、視覚生成を使った推論を学習可能にし、評価可能にし、最適化や制御がしやすい形にした点が特徴です。
研究チームはまず、視覚推論を管理されたタスク空間に変換しました。具体的には300種類の手続き的に生成されたタスクを用意しています。これらのタスクで学習したモデルは、RISE‑Video、MME‑CoF‑Pro、BabyVisionなど計7つの外部視覚推論ベンチマークにも強い転移を示したと報告されています。著者らはデータ、モデル、スコアラー、コードも公開しています。
評価面では「検証可能な報酬スコアラー」を用意しました。これは各タスクに固有の決定論的ルールに基づくスコアラーで、人間の評価と細かく整合します。研究では、マルチモーダル大規模言語モデル(MLLM)や視覚言語モデル(VLM)を判定者として使う現行のやり方に繰り返し失敗する傾向があることも示されました。そのため、タスク特化の検証可能なスコアが大規模なマルチタスク強化学習(強化学習:Reinforcement Learning, RL)の信頼できる報酬信号となり、RL後の性能向上に寄与することが示されています。
仕組みの解明のため、著者らは30以上の画像生成器、動画生成器、そして画像と動画を組み合わせる「交互生成」器を含む制御実験を行いました。その結果、持続的な時空間状態の追跡が必要なタスクでは動画生成が最も有利である一方、交互生成は計算コストの面で効率的な代替になり得ることが分かりました。加えて、アブレーション(要素を外す実験)やプロービング(内部表現の調査)から、視覚固有の「軌跡(トラジェクトリ)」が視覚推論に重要である可能性が示唆されました。
重要な注意点としては、検証可能なスコアラーは各タスクに特化した決定論的ルールに依存するため、用意した300タスク外でどこまで一般化するかは注意が必要です。また、MLLMやVLMを単独で判定者として用いる手法には繰り返しの失敗モードが確認されており、評価には慎重さが求められます。論文の結果は公開されたスイートと実験に基づくものであり、現実世界のより複雑な場面への適用には追加の検証が必要です。