未知の滑らかさと成長を自動で利用する最適な第一階法を提案:パラメータ不要で任意時点停止が可能に
この論文は、関数の「滑らかさ」や「成長(エラーの減り方)」に関する事前情報を一切知らなくても、凸最適化を高速に解ける第一階(一次)アルゴリズムを作ることを目指しています。扱う問題は、アルゴリズムが点 x を問い合わせると関数値 f(x) とサブ勾配(微分が存在しないときに使う一般化された傾き)を返す「ブラックボックス」設定の凸最適化です。著者らは、こうした限られた情報だけで最良クラスの理論的速度を達成する方法を示します。
具体的には二つの新しい手法を提案します。ひとつは BLW(bundle-level W-certificate)と呼ぶ束(バンドル)法の変種で、主に非滑らかでリプシッツ(Lipschitz)性を持つ目的関数に向けられています。目的関数が「二次的成長(quadratic growth)」と呼ばれる性質を満たす場合、BLW はオラクル呼び出し回数の理論的下界に相当するオーダー O(M0^2/(µ ε)) の複雑度を達成します。ここで M0 は非滑らかさに関する定数、µ は二次的成長のモジュラス(成長強度)、ε は目的の精度です。重要なのは、BLW は µ や目標精度 ε を事前に要求しない点です。
もうひとつは A-BLW(accelerated BLW)という加速版です。これはホルダー(Hölder)滑らかさと呼ばれる連続的な滑らかさの分類(指数 ρ∈[0,1])のどの領域に問題があるかも、対応する定数 Mρ も、成長モジュラス µ も知らなくても、非滑らか・弱滑らか・滑らかの各領域で最適な収束率を同時に達成します。さらに停止時刻の解析により、同じ A-BLW を変更せずに一般の凸問題や、ホルダー成長(α≥2)を満たす問題にも最良既知率で適用できると示しています。論文は実験も載せており、方法の実践的な挙動を示しています。
これらの手法が可能になった鍵の考え方は「Affine W-certificate(アフィンW証明)」です。これは関数の下に引ける一次の下側近似(アフィンミノラント)と、その「下降の遅さ」を測る量(descent-slowness)に基づきます。幾何学的な束モデルの情報を、二次的成長がある場合に「目的値と最適値の差(optimality gap)」の保証に変換する仕組みです。バンドル法の既存の枠組みにこの判定基準を加えることで、事前情報なしに最適な回数保証が得られます。
注意点としては、理論保証は決定論的第一階オラクル(関数値とサブ勾配を返す)を前提としています。また二次的成長の仮定は初期点を基準にしたレベル集合上での成立を要求するなど、条件が明示されています。過去の「ユニバーサル」法の多くは目標精度を入力に取る必要がありましたが、本手法は任意時点停止(anytime)で目標精度を事前に要求しない点が特徴です。実験結果は実用面での有効性を示唆しますが、抜粋部は本文の一部に限られるため、実験の詳細や追加の仮定・定数依存性については論文本文での確認が必要です。