有限の“証拠”でわかる? 極限での言語生成を特徴づけ、幅の階層を示す研究
この論文は「極限での言語生成」と呼ばれる問題を扱います。簡単に言うと、未知の無限集合(言語)について、正例だけを順に全部示されるような提示(つまり最終的に全ての要素が現れる列)に対して、常にその言語に属するまだ見ていない要素を返せるかどうかを問う仕事です。著者らは、このタスクがいつ可能かを数学的に分類しました。主張の要点は、「各目標(生成したい言語の各要素)に有限の正の証拠(正例の有限集合)を割り当てられること」が可能であれば生成できる、というものです。ここで「正の証拠」とは、その目標の存在を示すために十分な正の例の小さな集合を意味します。さらに、その証拠の取り方に一貫した性質があれば、どんな有限サンプルから活性化される目標集合も無限に共通する要素を持つ、という条件を付けています。
研究で行ったことは二つに分かれます。まず必要条件の導出に際して、任意の成功する生成手続きを「正の例の集合だけ」に依存する形へと正規化する普遍的な方法を示しました。具体的には、未確認の履歴を探索することで、元の生成器を同じ振る舞いをするが観測した集合だけを見て決定する新しい生成器に変換できます。次に、どれだけ大きな有限証拠が必要かを調べるために「正分離幅(positive separation width)」という尺度を導入しました。これは全てに一様に適用できる最小の有限サイズ上限を記録する量です。さらに、証拠が有限だが一様な上限を持たない場合、そしてそもそも有限証拠で割り当てられない場合という二つのより粗いレベルも定義し、これらを合わせた幅の階層を作りました。
重要な具体例も示されています。可算(列挙可能な)族については各目標に対して1要素の証拠で足りることが示されます。さらに、任意の有限幅を実現するような具体的な族が構成されますし、二つの族の和集合が「無限の共通中核(core)」を持つような場合には、全体としては一様な有限幅の上限を持たないが各目標には有限の証拠がある、という現象も示されます。これらの例で、幅の階層のすべてのレベルが実際に起きうることを確かめています。
同時に論文は限界も明確にしています。局所的な組合せ的データだけでは極限での生成可能性を決められないことを示す「可算サポート(countable-support)と有限プロフィール(finite-profile)の障害」が提示されます。これは、手元の小さな見かけ上の情報だけから一般的な可否を判断するのが不可能な場合がある、ということです。また、この仕事は理論的な分類と存在証明が中心であって、計算効率や実際のアルゴリズム実装についての主張は含まれていません。
結果は形式化され、証明と正規化の簡略版、対角線捕獲補題(diagonal capture lemma)を含めてLeanという定理証明系で検証されています。対応するLeanの開発は公開リポジトリで維持されています(https://github.com/xiaoyulics/language-generation-characterization)。なお、補助としてOpenAI Codexが数理探索やLean形式化、原稿作成の支援に用いられたと論文に記載されていますが、主張と解釈の責任は著者にあります。