メタ学習を組み込んだ差分可能モデル予測制御で素早く順応—ボールオンプレートでの実証
この論文は、学習で調整したモデル予測制御(MPC:Model Predictive Control)を新しい作業に素早く適応させる方法を示します。通常、MPCを方策最適化で調整すると高性能になりますが、訓練条件に過剰適合してしまい、未知の課題では性能が落ちます。著者らはメタ学習の一手法であるMAML(Model‑Agnostic Meta‑Learning)をMPCの設計に組み込み、少ない試行で高性能に適応する枠組みを提案します。実験は物理プラットフォームの「ボールオンプレート(Ball‑on‑Plate)」で行われ、さまざまな軌道追従タスクでの早い順応を示しています。
研究で行ったことは大きく二つです。まず、MPCのコストや制約の重みといった設計パラメータを学習可能変数として扱い、閉ループでの追従性能を直接最適化する方策最適化の枠組みを用いています。次に、その枠組みにMAMLを適用して「どの課題にも少数の更新で適応できる」一般化パラメータを学習します。MAMLでは、学習された一般パラメータから課題ごとのパラメータを単一の勾配降下ステップで得られるように設計します。さらに、実際のシステムデータからモデルを継続的に更新する「システム同定(system identification)」も訓練パイプラインに統合しました。
仕組みをもう少し平易に説明します。MPCは未来の挙動を予測して入力を決めますが、その性能は予測モデルと設計パラメータに依存します。著者らは予測モデルにパラメータ化された形式を用い、既存のMPC解法では非線形最適化を避けるために、直前の解に沿ってモデルを線形化する戦略を採ります。通常、閉ループ性能の勾配を正確に求めるには二次導関数が必要で計算負荷が高くなりますが、本手法は二次導関数を直接必要としない近似とシステム同定の組合せで実用的に勾配を得る点が特徴です。勾配推定のために、各タスクで二回の実機相互作用(まず更新前の勾配を作り、次に更新後の効果を評価する)が必要になる点も明記しています。
なぜこれが重要か。ハードウェアでのMPC調整は実機の稼働時間や初期化コストがネックになります。メタ学習を使えば、新しい参照軌道や条件に対してフルリトレーニングをせずに短時間で高性能なパラメータを得られます。論文は、ボールオンプレート上の軌道追従タスクで、既存手法と比べて適応速度や収束の速さで優れていると報告します。加えて、システム同定を併用すると収束がさらに速くなり、追加の計算コストがほとんど増えないとしています。
重要な留意点もあります。まず、本手法は状態が完全に計測できること、および特定のパラメータ化されたモデル形式が使えることを仮定しています。また、真のシステムを完全に再現するパラメータが存在するとは限らない点を扱うために、課題ごとに異なるモデルパラメータを許容していますが、問題全体は非凸で非滑らかです。さらに、正確なヤコビアン(勾配の行列)を得る方法は計算的に重く、そのため著者らは近似手法を提案していますが、その近似がすべての状況で同様に有効かどうかは限定的な情報しか示されていません。実験はボールオンプレートでの実証にとどまり、他の実システムや大規模な課題群での性能評価は本文全体を通して確認する必要があります。