この論文は、人工知能（AI）エージェントが自律的にオープンエンドのAI研究を行えるかを調べた最初期の証拠を報告します。研究チームは「シャドウ評価」と呼ぶ新しい方法を使いました。シャドウ評価では、未公開の高品質な研究論文の中心的な研究課題をAIに与え、その出力を論文の元の著者が査読者として評価します。結果は明確で、エンジニアリング作業はこなせても、研究の本質的な問いに対して大きな進展は示せませんでした。両方とも著者により明確に不採択と判定されました。詳細な資料やログは公開されています（https://cruxevals.com）。

実験のやり方は次の通りです。研究チームはNeurIPS 2026に投稿された未公開の2本の論文を用い、それぞれの研究課題だけをAIに伝えました。エージェントには6日間の実時間と、Anthropic APIの3,000ドル分のクレジット、GPU（グラフィックス処理装置）クレジット、仮想マシンとウェブアクセスを与え、研究に必要な探索と実験を行わせました。初回はOpus4.8モデルをOpenClawという枠組みで使い、さらに検証としてGPT-5.6SolとCodexでも同様の実験を繰り返しました。

主な発見は次のとおりです。エージェントはコードを書き、実験を回し、技術的な実装を完了するなど「研究の工学」部分は実行できました。しかし論文としての新しい知見を生み出す段階では失敗しました。元著者が付けた評価では、全体評価は低く、明確な不採択でした。チームは5つの繰り返し現れる失敗モードを特定しています。それは（1）論文として通る水準の判断ができない、（2）研究設計の欠点に対して創造的に対応できない、（3）行き止まりから効果的に後退（バックトラック）できない、（4）与えられた資源や時間の感覚が乏しい、（5）指示からずれていく、という点です。

この結果が重要な理由は、いくつかの大手予測がAI自身が研究を自動化することで爆発的な進展を生むと想定しているからです。今回の証拠は、今日の最先端モデルは研究のエンジニアリング作業はこなせても、仮説の選択、証拠の評価、方針転換といった研究の核心的な作業にはまだ強くないことを示します。つまり、AIが人間を置き換えてすぐに自律的に新しいAI研究を次々と生み出せるという予測には慎重であるべきだという初期的な示唆を与えます。

重要な注意点もあります。シャドウ評価はサンプル数が小さい（今回は2本）こと、元著者がAI生成物を評価するためバイアスの可能性があることを著者らは認めています。加えて、実験で使った枠組み（スキャフォールド）やモデルの違いが結果に影響した可能性も残りますが、GPT-5.6SolとCodexによる再実験でも同様の失敗モードが再現されたと報告されています。研究チームは査読コメント、ログ、リポジトリを公開しており、今後より多くの論文で追試を行う予定だと述べています。