SenseNova-U1.5:エンコーダー不要の「統合型」視覚AIで画像の理解と生成を同時に目指す
研究チームはSenseNova-U1.5という新しいマルチモーダルモデルを発表しました。これは視覚情報の理解、推論、生成を一つの「ネイティブ」な枠組みで行うことを目指すモデルです。モデル本体は約80億パラメータの規模(8B)で、従来のような別個のエンコーダーや変分オートエンコーダー(VAE)を使わずに動く点が特徴です。
研究者たちは学習手法をいくつか工夫しました。画像の空間的な整合性を保つ「パッチ再構成」を強化し、生成や編集のために注意深く選んだデータで訓練を拡張しました。タスクの定式化を改善し、構造的なプロンプト(指示文)の扱いを強めることで、最大4K解像度のネイティブ対応までスケールしています。さらに後処理(ポストトレーニング)として、視覚的美学、二言語のテキスト描画、インフォグラフィック生成、画像編集に特化した専門家モデルを作り、それらの能力を「マルチエキスパートのオンポリシー蒸留」で統合しました。
仕組みを平たく言えば、SenseNova-U1.5は端から端まで一体で学ぶ設計です。エンコーダーやVAEといった中間表現に頼らないため、入力画像の空間構造(どの部分がどこにあるか)を壊さずに扱いやすくなります。専門家モデルを個別に訓練してから、本体に模倣学習で取り込む「蒸留」により、多様な視覚タスクの振る舞いを本体に反映させています。
評価では画像の忠実性や文字の描画、複雑な構図の生成、複数参照画像に基づく編集、生成と編集を交えた処理(インタリーブ生成)などで大きな前進を報告しています。指示に従う能力や、被写体の同一性や幾何学的整合性、編集していない領域の保持といった点でも改善が見られたとしています。これらは、視覚的理解が生成や計画へ転用できることを示す証拠だと論文は主張しています。
重要な注意点もあります。論文自身が指摘するように、生成データに構造化フォーマット(細かい決まりを持つ図表や形式)への露出は限られていました。それでも複雑で構造的な指示への一般化が観察されたとありますが、この一般化がどの程度頑健かは今後の検証が必要です。研究チームは訓練コード(教師あり微調整、強化学習、オンポリシー蒸留を含む)を公開する予定で、外部の検証や応用が進められることが期待されます。