ワッサースタイン勾配流と前向き拡散だけでは多峰分布の効率的サンプリングは難しい
この論文は、ワッサースタイン勾配流(Wasserstein gradient flows)や前向き拡散(forward-only diffusion)に基づく最近のサンプリング手法は、多峰(モードが分離している)分布に対して本質的に時間がかかることを示しています。著者らは、これらの手法が示す「指数収束」の保証が、必ずしも実用的に高速なサンプリングを意味しないと主張します。特に、よく分離した複数のモード間で確率質量を移動させる際に、極めて遅い混合(mixing)を示す点を指摘します。
彼らはまず数学的な道具を使って議論の土台を作りました。Jordan–Kinderlehrer–Otto(JKO)スキームとOtto解析という考え方を用いて、標準的なWGFの密度変化が過度減衰(overdamped)の前向き拡散過程と同じ周辺密度の時間発展を持つことを示します。簡単に言えば、確率密度がどう変わるかという観点では両者に差がない、ということです。続いて、古くから非平衡統計物理で用いられる二つの解析法――スペクトル解析と平均初到達時間(MFPT: mean first-passage time)解析――を使って混合性能を評価しました。スペクトル解析は系の遅いモード(固有値の小さなギャップ)を調べる手法で、MFPTはあるモードから別のモードへ到達するのに平均でどれだけ時間がかかるかを見ます。
その結果、よく分離したモードを持つ目標分布では、これらの手法が小さなスペクトルギャップと稀なモード間遷移を生み出し、混合時間が指数的に長くなることが示されました。一般に用いられる対数リニアなアニーリング(徐冷)スケジュールで中間分布を挟んでも、総合的な輸送時間の指数スケーリングは取り除けないとしています。重要な点は、この遅さは実装上の細部の問題ではなく構造的な制約だということです。局所的で勾配に基づく輸送だけでは、離れたモード間に確率質量を効率よく移すことができない場合があるという主張です。
これは実務にとって意味があります。近年の多くの手法は数学的に「指数収束」を示す場合がありますが、本論文はそれが多峰構造を持つ場合に実際の高速サンプリングを保証しないことを明確にします。論文はまた、WGFを実装する二つの典型的な流儀を説明します。一つは粒子を直接動かす方法で、スコア(対数密度の勾配)を推定して決定論的に移動させますが、高次元でのスコア推定は難しい問題です。もう一つはJKOに基づいて最適輸送写像を学ぶ手法で、入力凸ニューラルネットワーク(ICNN)などの構造的制約が表現力を制限する可能性があります。
留意点として、著者らは「多峰サンプリングは絶対に不可能だ」と言っているわけではありません。彼らの主張は、標準的なWGFや前向き拡散に限っては、局所的・勾配駆動の仕組みが構造的に多峰問題で苦しむ場合がある、という批判的な立場です。また本稿は新しいサンプリング手法の提案や大規模な数値ベンチマークではなく、既存理論と古典的解析手法(スペクトル解析とMFPT)をつなげて限界を明示する位置付けの論考です。著者らはこの結果が、モード間の移動を直接促すような非局所的な新しい仕組みの研究を促すと結んでいます。