最良の行列乗算の理論上の速さをわずかに改善—ωの上限を2.371177未満に
この論文は、行列を掛け合わせるときに必要な計算量を表す指数ω(オメガ)の上限をわずかに下げた報告です。研究者たちは最新の最適化手法と、AlphaEvolveと呼ばれる機械学習の手法を組み合わせて、従来の上限2.371339を改良し、ω〈2.371177という新しい上限を得ました。行列乗算の指数ωは、理論計算機科学で重要な指標であり、n×nの行列の乗算に必要な演算回数が大きなnに対しておよそO(n^ω)で表されます。小さな改善でも理論的には意味があります。
研究者たちは、これまでの最良手法である「レーザーメソッド」の改良版、組合せ損失解析(combination loss analysis)に含まれる非凸最適化問題に着目しました。まず最適化問題の定式化を見直し、より大きな設定で解けるようにしました。次に、勾配降下法に基づく最適化をJaxで実装し、ハードウェア並列化によって計算を回しました。従来は最大再帰レベルℓ*=3で探していたのに対し、本研究ではℓ*=4を扱い、調整可能なパラメータ数は約2.5万から約700万へ増えました。最後にAlphaEvolveを使って得られた最適化アルゴリズムをさらに洗練させました。
高いレベルでは、最適化問題は根付き木の構造で表され、各節点に確率分布などの変数が割り当てられます。これらの変数からエントロピー(情報量の指標)や「保持指数」と呼ばれる量を計算し、その組合せがωの上限に結びつきます。問題は非凸で、局所最適解が多数存在し得ます。そのため、機械学習で発展した勾配法と並列計算を使って広い空間を探索しています。論文中では、勾配ベースの方法だけで以前の最良値を約0.97×10^−4改善し、さらにAlphaEvolveにより改善を約1.62×10^−4まで伸ばしたと報告しています。実験結果は数値最適化に基づく「計算機支援の証明」として扱われ、得られた結果は厳密に検証されたと述べられています。
なぜ重要かというと、ωの上限を下げることは理論的に行列乗算を速くできる可能性を示すことです。行列乗算は機械学習や画像処理など多くの分野で基礎的な操作ですから、理論的な改善はアルゴリズム研究の方向を示す価値があります。ただし今回の改善は非常に小さな差であり、実用上の行列乗算の速度に直ちに影響するわけではありません。
重要な制約と不確かさもあります。最適化問題は非凸です。したがって、得られた数値解が本当に最適である保証は通常困難です。著者らは得られた解を精査して厳密に証明する手続きを行ったと述べていますが、結果は高度に計算集約的で、再帰レベルを上げると計算量が二重指数的に増加します。論文抜粋は詳細を含みますが、全文がここにあるわけではないため、実装や検証の細部については本文を参照する必要があります。今回の仕事は理論的限界をさらに押し下げる一歩です。だが、根本的な飛躍や即時の応用を約束するものではありません。