逐次推論に適したガウス過程入門:信号処理の視点から
この論文は、ガウス過程(Gaussian process, GP)を使った逐次(オンライン・ストリーミング)推論の方法を、信号処理の視点でわかりやすくまとめたチュートリアルです。ガウス過程は「関数全体の確率」を扱う道具で、観測から連続的な信号の予測と不確実性の推定ができます。著者らは特に、時間順にデータが来る場面で実用的に動く手法に焦点を当てています。 論文はまずガウス過程の基礎を説明します。古典的なGP推論は観測点数Nに対してN×Nの行列を逆行列にする必要があり、計算量がO(N^3)になります。このため長い時系列やリアルタイム処理には向きません。そこで著者らは、計算負担を下げて逐次更新ができるようにする複数の近似法や再定式化を整理し、それらを信号処理の既存手法(例えばカルマンフィルタ)と結びつけて紹介します。 代表的なアプローチの一つは基底展開(basis expansions)です。ランダムフーリエ特徴(random Fourier features, RFF)やヒルベルト空間に基づく手法などでGPの事前分布を有限次元の特徴で近似します。こうすると無限次元の関数空間の推論がパラメトリックな線形モデルに変わり,そのパラメータを逐次的に更新できます。線形かつ観測ノイズがガウスなら,カルマンフィルタで厳密に更新できる点が利点です。 別の見方はマルコフ(Markovian)化です。多くのカーネル(相関関数)は線形確率微分方程式(SDE: stochastic differential equation)として表せます。これを状態空間モデルとして扱えば,カルマンフィルタやスムーザを使って正確に逐次推論できます。ただしこの定式化は数学的にやや高度です。さらに,過去の情報を小さな「誘導変数(inducing variables)」で要約するスパース/変分近似も紹介され,これらはメモリを一定に保ちながら線形計算量で推論を行えるようにします。非ガウスな尤度(ノイズの型が複雑な場合)には近似推論が必要になる点も論じられています。 この整理が意味する応用は広いです。状態空間モデリングや逐次回帰・予測、時系列の異常検知、逐次ベイズ最適化、適応的・能動的センシング、逐次的な検出・意思決定などでGPの不確実性推定と柔軟性を活かせます。またGPは不規則サンプリングにも自然に対応します。とはいえ重要な注意点もあります。多くの手法は「計算を軽くする代わりに近似を導入する」トレードオフがあり,精度と計算効率のバランスを検討する必要があります。線形ガウス系でない場合は追加の近似や工夫が必要ですし,マルコフ化は理論的に手間がかかります。論文はまた,機械学習側で多く進んだ手法が信号処理には十分に取り入れられていない点を指摘しています。 著者らの目標は,これらの手法を信号処理の実務に使える形で整理し,実装上の道しるべを提供することです。本文では基礎から始め,基底展開,マルコフ型GP,変分法や逐次アルゴリズムの詳細を順に解説しています。実用上の制約と近似の性質を明確にした上で,現場での逐次GPの採用を後押しすることを狙いとした総合的なレビューです。