この論文は、言語モデルが出す確率的な予測が内部で矛盾していないか（「確率的一貫性」、英語でcoherence）を調べます。研究者は古典的な定理（ド・フィネッティの定理）を用いて、モデルが提示した確率を賭けの価格とみなしたときに、常に利益を得られる賭け方（ダッチブック）が存在するかを調べます。もし常に利益が出るなら、その確率には矛盾があると判断します。ダッチブックとは、結果にかかわらず必ずもうかる売買の組み合わせを指します。ここでは「最大でどれだけの保証された利益が得られるか」を不一致の尺度にしています。

具体的には、研究者らは株価の過去データを使って、ある日の将来のリターンがある範囲に入る確率をモデルに尋ねました。データはCRSP（株価データ）とRefinitiv（見出し）から取り、対象期間は2025年8月15日から12月23日までです。試験には15種類のモデルを使い、合計365,100回の確率の取り出し（エリシテーション）を行いました。解析の中心モデルとしては、2025年8月5日リリースのGPT-OSS-120Bを用いて、事前学習による先見性（ルックアヘッド）を減らす配慮もしています。

検査の仕組みはこうです。複数の事象（例：リターンがある区間に入る）があるとき、それらの論理関係から「最小の区分」（アトム）を作れます。研究者はモデルが出した各事象の確率を使い、線形計画法（線形の最適化手法）で、賭け手がどれだけの最低保証利益を確保できるかを計算します。計算で得られる「最大保証利益」がゼロなら、その集合については確率は一貫しています。重要な点は、実際の結果ラベル（事象が起きたかどうか）を使わずに評価できることです。

結果は一貫性の欠如がかなり見られるというものです。多くのモデルでダッチブックによる保証利益が確認されました。特に、事象同士の論理的な関係が豊かな場合（合併や補集合などを含めた場合）、不一致は大きくなる傾向がありました。また、無関係な文脈情報を与えると、不一致が一桁分（約10倍）増えるケースもありました。モデル間で確率的一貫性のばらつきは、予測精度のばらつきより大きいことも報告しています。論文は、不一致を減らすための学習戦略の可能性についても議論しています。

この研究が重要な理由は、実用場面で人々が言語モデルの提示する確率を頼りに意思決定をすることが増えている点です。確率が内部で矛盾していると、提示された判断をそのまま信用するのは危険です。今回の手法は、結果がまだ分からない将来事象についてでもモデルの一貫性を検査できる診断となります。一方で注意点もあります。確率的一貫性が高いことが「正しい予測」を意味するわけではありません。たとえば、すべての確率を極端に偏らせれば矛盾は少なくなりますが、現実の正確さは落ちるかもしれません。また、今回の不一致による「利益」は実際に取引できる金銭的利益ではなく、あくまでモデルの矛盾の大きさを示す指標です。さらに、一貫性の評価はどの事象集合を選ぶかに依存します。最後に、ここで示したデータや設定は論文の抜粋に基づくもので、詳細や追加の検証は本文を参照する必要があります。