変分推論の偏りを補正する「間接変分推論」—収入ダイナミクス推定への応用
研究の要点は、速くて扱いやすいが偏りを生むことがある変分推論(VI: variational inference)を補正する新しい手法、間接変分推論(IVI: indirect variational inference)を紹介し、個人の収入の変化を表すモデルでその有効性を示した点です。著者らは、VIが計算を単純化する代わりに変分後方分布の形を仮定するためにパラメーター推定で誤差を生むことを指摘しました。IVIはその誤差を補正しつつ、尤度(モデルの当てはまりの確率)を直接計算する必要を避けます。これは大きなパネルデータを扱う応用で実用的です。
彼らはまず、収入ダイナミクスを記述する一連の潜在変数モデルでVIの挙動を調べました。基準となる線形・ガウスの持続-一時成分モデルでは、真の事後分布がガウスであるため、適切なガウス型の変分族を使うとVIは良好に働きます。しかし、持続性が非線形だったり、ショックが非ガウスで時系列に相関したり、個人ごとの分散の異質性があるような現実的な仕様では、変分後方分布の共分散構造の扱いが重要になります。特に、各時点の潜在状態を独立とみなす「平均場近似(mean-field)」はしばしば大きなバイアスを生みました。一方で、共分散を自由に許すガウス変分族や動的構造を反映した構造化変分族は性能がかなり改善しました。
間接変分推論(IVI)は、VIを補助モデル(auxiliary model)として扱い、その推定値に基づいて元の構造パラメーターのバイアスを補正します。重要な利点は、IVIが真の尤度を計算しなくてよい点です。論文では、勾配降下法と不動点反復法という二つの実装を提案しています。理論的には、VIは「擬真値(pseudo-true)」に収束することがあり得ますが、IVIは真の値に対して一貫性と漸近正規性(大きなサンプルで推定値が真値の周りに正規分布する性質)を示すと述べています。
実証面では、米国のパネル調査データ(PSID)の1980–1989年分を用いて、非線形持続性、移動平均(1)型の一時成分、個人別の一時成分分散を組み込んだ柔軟なモデルを推定しました。IVIを組み合わせた柔軟な変分族は、持続成分の主要な特徴をよく再現しました。具体的には、持続成分の条件付平均は概ね線形で、平均的な持続性は1に近いこと、条件付分散は分布に対してU字型になること、個人差として3つの一時分散群が認められること、一時ショックに系列相関があることなどを報告しています。さらに、過去の結果と同様に、持続性はショックの符号や所得水準によって非線形に変わる傾向が確認されました。
この研究が重要な理由は二つあります。第一に、経済学でよく使われる潜在変数モデルは尤度の積分が困難で、従来法は計算コストや調整の手間が大きくなります。VIはスケールしやすいが偏りが問題でした。IVIはその計算上の利点を保ちながら偏りを減らせる道を示します。第二に、収入リスクや持続性の性質は制度設計や不平等の議論に直接関わるため、より信頼できる推定法は実務上の意味があります。
重要な注意点もあります。変分推論の性能は選んだ変分族に強く依存します。平均場近似のような過度に制限的な仕様は大きな誤差を招きます。IVIは多くのバイアスを補正しますが、補正の効果は補助モデルと変分族の設計に左右されます。論文の結論は、柔軟な変分族を用いることと、変分推論を補助手段として使うIVIの組み合わせが有望である、という慎重な楽観に基づいています。コードはオンラインで公開される予定で、シミュレーションと実データの両面での検証結果が示されています。