この論文は、同じ呼び出しを同じモデル名に送れば結果は明日も同じだという前提を検証しました。研究者たちは、言語モデルを「判定者（ジャッジ）」として使う評価やデータ選別が増える中で、この前提が測定器としての信頼性を支えていると指摘し、実際に同じ条件で再現性があるかどうかを事前に決めた基準で検査しました。結果は基準を満たさず、共有サーバー上ではその前提が成り立たないことを示しました。

研究チームは二つの事前登録（preregistered）キャンペーンを行い、閾値（あらかじめ決めた合格ライン）を固定して実験しました。実験は合計52,988回の試行を監査し、生成器が同じ課題につき4候補を作り、ブラックボックスの大規模言語モデル（LLM）観測器が課題と一部の痕跡（トレース）を見て確率や完全なランキングを返す、という流れを繰り返しました。重要な結果は、同じウィンドウ内での繰り返しランキングの一致がスピアマン相関で0.400（要求は0.90）だったことと、バイト単位で同一の入力を翌日に再生した場合の一致が0.78（要求は0.99）だったことです。これらは通信や実行の失敗ではなく、実行記録はいずれもほぼ満点（例：legacy delivery 1,814/1,816、ラベルカバレッジ99.853%、他の窓は100%）であるにもかかわらず生じました。

なぜ重要かというと、こうした「判定者」は学習データの選別、生成物の採点、ランキング付けなどで門番の役割を果たしています。もし同じモデル名に対する測定が日によって大きく変わるなら、評価や自動化されたゲートは信頼できません。論文は特に「共有エンドポイント上ではモデル名が固定された測定器ではない」と強調し、事前登録した評価では測定器自体をまず測る必要があると結論づけています。

研究は不安定性の原因として三つのメカニズムを挙げます。まず、ラベル（出力のラベル）から意味への写像が読み出しを強く偏らせること。次に、候補間の差（スコアギャップ）が観測器自身のノイズ床より7桁も小さく、検出限界の外にあること。最後に、バイト単位で全く同じ入力でも異なるランキングが返ることがあり、完全な順列でもノイズが蓄積することです。単に別の評価指標に置き換えたり、サンプリングで稼ごうとしても、試験した範囲では修復されませんでした。追試として、待ってから再測定する方法は効果がなく（0.805対0.800、5日間で再現）、プロバイダを切り替えても改善しませんでした（4社の中央値は0.74～0.88）。自己ホストした環境ではサーバーが空いている間だけ改善が見られました。また、既知の誤差を作った実験では、読み出しの分離は誤差の「型」によって変わり、誤差の「大きさ」には追随しませんでした。

著者はこれらの知見を三段階のスナップショット同一性ラダー、8つの設計ルール、報告チェックリストにまとめています。興味深い実務的示唆としては、本調査の約2%の呼び出し量のパイロット実行で二つの到達不能なゲートが事前に露見しただろう、という点があります。重要な留保は、本研究が対象とするのは「共有サービング基盤上で外部から計測した振る舞い」に限られることです。プライベートな設定や別のインフラでは状況が異なる可能性がある点に注意を払う必要があります。