この論文は、既存の自己回帰（autoregressive, AR）モデルを使って拡散言語モデル（diffusion language model, DLM）に変える試みを報告します。研究者たちは、注意（attention）層と再帰ニューラルネットワーク（RNN）層を交互に置く「ハイブリッド」構造のQwen3.5を出発点にして、dQwen3.5というDLMファミリーを作りました。主な結論は、ハイブリッド型のバックボーンでも効率よくDLMへ適応できるという点です。

背景として、これまでの適応はほとんどが全注意（full-attention）トランスフォーマーから始まってきました。しかし最近のARモデリングはハイブリッド構造に移ってきており、ここに障害が生まれます。RNNは構造的に因果的（過去のみを参照する）であり、双方向にする（bidirectionalize）ことが簡単ではありません。拡散モデルには両方向の情報を扱う必要が出るため、この点が適応の難点でした。

研究者たちはQwen3.5を4つの規模で適応しました。モデルサイズは0.8B、2B、4B、9B（Bはパラメータ数の単位）です。これらを合わせてdQwen3.5ファミリーと呼びます。重要な実験結果として、ハイブリッドバックボーンは全注意の対照モデルと比べて、ある訓練損失（training loss）の値に到達するのに必要なトークン数が約半分だったと報告しています。これは訓練の効率が高いことを示します。

また、規模を変えて評価したところ、dQwen3.5は「任意順序デコーディング（any-order decoding）」の振る舞いで全注意DLMに似ていました。任意順序デコーディングとは、生成の順序を固定せずに異なる順でトークンを生成できる性質で、並列デコーディング（複数トークンを同時に生成するやり方）に有利になります。論文は、dQwen3.5が並列デコーディングでも強い性能を示したと述べています。

なぜ重要かというと、既存のARハイブリッドモデルを再利用してDLMを作ると、学習コストを抑えられる可能性があるためです。トレーニングで少ないトークンで済むなら、計算資源や時間を節約できます。さらに任意順序や並列生成に適しているなら、生成速度の面でも利点が期待できます。

ただしいくつかの注意点があります。まず、RNNが双方向化しにくいという構造上の問題は依然として一般的な障害です。本研究はQwen3.5という特定のハイブリッド設計と四つの規模での結果に基づいています。報告は訓練損失やデコーディング振る舞いに関するものであり、他のタスクやデータセット、モデル設計全般に当てはまるかはさらなる検証が必要です。論文が示すのは「可能性がある」という段階であり、万能な解決策であるとは主張していません。