RGO(制限ガウスオラクル)を使う近接勾配サンプリングで、非平滑な項を含む対数凹分布を高精度に抽出
この論文は、密度が π(x) ∝ exp(−f(x) − g(x)) で表される「複合対数凹分布」からのサンプリング法を提案します。ここで f は滑らかで勾配が評価できる項、g は滑らかとは限らないが凸である非平滑項です。研究者は、非平滑項について「制限ガウスオラクル(RGO)」という操作が利用できることを仮定します。RGOとは、中心 v と幅 h に対し密度 proportional to exp(−g(x) − ||x−v||^2/(2h)) から正確にサンプルを取るための道具です。これは最適化で使う「近接作用素(プロキシマル)」のサンプリング版に相当します。
具体的に彼らが行ったのは、古典的な近接勾配法のサンプリング版を作ることです。まず分布を拡張してガウスで結合した上でギブスサンプリングを行う近接サンプラーの枠組みを取り、滑らかな項 f をその場で一次近似(勾配による線形化)します。反復では、現在の点 x_k からガウス分布 N(x_k, h I) で y_k を取り、ターゲットの条件付き密度 ν_k(x) ∝ exp(−f(x) − g(x) − ||x−y_k||^2/(2h)) を定めます。提案分布には g の RGO を用いるが、中心を y_k − h ∇f(y_k) にずらした分布 μ_k を使い、最後に独立型メトロポリス・ヘイスティングで受け入れ補正します。これによりアルゴリズムは非バイアス(理想的には真のπに漸近的に一致)で動きます。
主な理論結果は次の通りです。もし f+g が α-強凸(すなわち全体に下に丸い)で、f が β-滑らか(勾配に上限がある)ならば、条件数 κ := β/α の下で、総変動距離(ターゲット分布との誤差)を ε にするのに必要な反復回数は Õ(κ √d log^4(1/ε)) となります。ここで d は次元、Õ は多項的な対数因子を隠した記法です。この次数は、非複合(g=0)の既存最速法と同等の √d 次元依存性に到達している点が重要です。また論文は、標準的な関数的不等式(ポアンカレ不等式やログ・ソーボレフ不等式)を満たす非対数凹ケースや、f が非滑らかでリプシッツ連続な場合への拡張も扱っています。
なぜ重要かというと、従来の選択肢には欠点がありました。例えば Moreau–Yosida で g を平滑化する方法は一般にバイアス(近似分布に収束)を生み、次元依存性も悪くなる場合があります。以前の近接サンプラーや RGO の実装は次元依存性が O(d) 程度で、ある種の g に対してのみ改良版が √d にできるという結果がありましたが、それらは g に追加の滑らかさを仮定する場合が多かった。本研究は g に滑らかさを仮定せずに √d の依存性を達成できる点で前進です。
重要な注意点と限界もあります。まずこの理論は RGO に「直接アクセスできる」と仮定します。RGO を現実に効率よく実装する手法は別途必要であり、その実装コストによっては全体の効率が変わります。主定理の仮定では f+g の強凸性(α>0)が必要です。論文は α_f が負でも許容する場合がある(ただし α_f ≥ −β かつ α>0)と明記していますが、主要な漸近境界は強凸性に依存します。さらに、解析にはレニ―分散(Rényi divergence)に基づく評価や、ステップ幅 h を h ≈ Θ(1/(β √d)) 程度に取ることが鍵であることが示されています。これらの条件が満たされないと、理論通りの性能保証は得られません。以上の点を踏まえれば、本研究は非平滑な項を含む確率モデルからの高精度なサンプリングに向けた実用的かつ理論的に整った一歩と言えます。