要点：研究者たちは、大規模言語モデルを使うコーディングエージェントが行う「自律的なモデル発見」の振る舞いを、単発のベンチマークではなく系統的な実験で評価する枠組みを提案しました。これらのエージェントは確率的で順応的に動くため、動作のばらつきや費用とのトレードオフを複数回の制御実験で測る必要がある、というのが出発点です。

何をしたか：著者らは、2種類の商用コーディングエージェント（CodexとClaude Code）をモデル発見の「演算子」とみなして検証しました。実験はネットワーク化された単語作成ゲーム（ネットワーク化アナグラムゲーム）をテストベッドに用い、2つのタスクを設定しました。1つは予測タスクで、あるプレイヤーの過去の行動や近接ネットワーク情報から次の行動を予測します。もう1つは生成タスクで、セッション全体の行動列を生成することを目指します。主要な操作変数として「要求する推論努力（reasoning effort）」を3段階に分けるなど、複数の因子を組み合わせた全要因実験を行いました。

どのように評価したか（高レベル）：実験では、各ランの完全な実行ログを記録します。エージェントが探索した候補モデル、使ったトークン数と費用、かかった実時間、最終的に提出したスクリプトや評価スコアなどを集め、出力の質、金銭コスト、壁時計時間、プロセスの複雑さといった複数の応答を同時に扱う多変量解析を行います。さらに「ユーティリティ整合の正準分解（Utility-Aligned Canonical Decomposition, UACD）」という手法を用いて、推論努力が応答ベクトルをどの方向に変えるかを定量化し、その方向が性能とコストのトレードオフに沿っているかを確かめます。正準分解とは簡単に言えば、複数の結果を一度に見て「努力が最も影響する方向」を見つける方法です。

なぜ重要か：エージェントにどれだけ「考えさせる」かを変えたときに、性能がどれだけ改善するか、あるいは単にコストと複雑さが増すだけかを系統的に測れる点が重要です。単発の成功例や失敗例からは見えにくいばらつきや、設定（エージェントの種類、評価指標、学習データの構成など）による違いを定量的に示せます。実用的には、エージェントの制御パラメータをどう設定すれば性能とコストのバランスが取れるかの指針を出す手がかりになります。

留意点と限界：本研究は枠組みとテストベッドの提示が主眼であり、結果の解釈には注意が要ります。用いたゲームは比較的単純なネットワーク化アナグラムゲームであり、ここで得られた知見が他の種類のデータや現実の複雑な分析作業にそのまま当てはまるとは限りません。著者らもこの枠組みが「エージェント自身」を評価することを目的にしており、個々の生成モデルやゲーム用の最良モデルそのものを直接主題にしているわけではないと明言しています。詳細な実証結果や追加の議論、実験データと再現可能な評価パイプラインは公開リポジトリで提供されていますが、本稿の抜粋では全結果は読み取れません。