SciPhyRL:取引コストを明示して学ぶ動的ポートフォリオ最適化 — 14資産ETFでシャープ比改善
この論文は、大口の機関投資家向けに取引コストを明示的に扱う動的(マルチ期間)ポートフォリオ最適化の枠組みを示します。研究者たちは「Scientific Physics‑Informed Reinforcement Learning(SciPhyRL)」と呼ぶ手法を使い、過去の取引データだけを用いてコストやリスクを考慮した最適な資産配分戦略を学習します。主張の中心は、連続時間で定式化した問題をデータ上で解ける形に変えた点です。これにより伝統的な価値反復や方策反復といった反復手続きが不要になります。
研究者は状態を拡張し、保有株数、資産価格、累積コストといった情報を明示的に含めています。最適化問題はハミルトン–ヤコビ–ベルマン(HJB)方程式という偏微分方程式に帰着しますが、著者らはこれを観測された軌道上に投影して「経路に沿った」ハミルトン–ヤコビ方程式にし、物理情報を組み込んだニューラルネットワーク(Physics‑Informed Neural Network,PINN)で一度のオフライン学習として解きます。PINNは方程式の成立を損失関数に組み込んで学習する手法で、データが限られる環境での学習を助けます。
実運用上の短期の有効性を高めるために,制御変数(取引の決め方)を連続的な取引速度から「目標保有量」に変えています。こうすることでシグナルが示すポジションへ即座に到達することを想定しつつ,実際の取引コストは市場微視構造(マイクロストラクチャ)に基づく二次(クアドラティック)価格インパクトモデルで評価します。著者らはこのインパクトモデルを一段の簡素化で観測可能な市場量から推定できるようにし,パラメータ数を13から5へ減らすプログラムも示しています。価格インパクトが行動(トレード量)に二次的に現れるため,問題は従来の線形二次制御(LQR)とは異なる性質を持ちます。
手法の評価は14銘柄のETF(上場投資信託)を対象とした実験で行われます。与えられた「オラクル」的なシグナル(実験で用意した理想的な情報)を使って学習した確率的方策(Gibbs方策)は,静的配分と短期のみを考える単純戦略(myopic)と比べてオフサンプル(未使用データ)でシャープ比が大きく改善したと報告されています。論文はまた,分布を扱うオフライン強化学習の枠組みにより,学習した方策の期待収益だけでなく不確実性の評価も可能になる点を強調します。さらに偏微分方程式を直接組み込む正則化によって,必要な学習データ量を抑えられるとしています。
重要な注意点もあります。結果は固定された過去データセット(行動方策により生成)に基づくオフライン学習で得られています。実験で使われた「オラクル」シグナルは理想化された入力であり,実際の市場シグナルと同等とは限りません。論文はPINNに加え半解析的ソルバーとその収束解析も示しますが,PINNと半解析法の数値比較は今後の課題として残されています。また,価格インパクトやその他モデル化の前提は実市場の複雑さを完全に再現するわけではない点に留意が必要です。論文抜粋は要旨と本文の一部を示しており,全文を参照することでさらに詳細な条件や制約が確認できます。