人工知能（AI）が自身を改良する「再帰的自己改善」が理論から現実味を帯びるなか、安全性の維持・向上は重要な課題になっています。arXivに投稿された査読前稿「ReSI: Recursive Safety Improvement toward Resistant and Resilient AI」は、この課題に対して自動化された反復的プロセスで臨む枠組みを提示し、実験的な評価結果を報告しています。以下は論文の要点と意義、そして残る限界についての解説です。なお本稿は査読前の技術報告に基づくもので、結果は慎重に解釈する必要があります。

何を目指すのか — 抵抗性（resistance）と回復力（resilience） 著者らは、安全性向上の目標を二つに整理しています。既に知られている攻撃や脆弱性に対して「抵抗する」こと（resistance）、そして訓練時に見えていなかった未知のリスクに対しても「回復・耐性を示す」こと（resilience）です。これらはしばしば対立せず、両方を同時に高めることが実践上の課題になります。

ReSIの考え方 — 反復的な評価と更新 ReSI（Recursive Safety Improvement）は、モデルの各チェックポイントに対して多様なレッドチーミング（攻撃や悪用を想定したテスト）を行い、見つかった脆弱性に対応するための訓練手法（トレーニング・レシピ）を自動で作成・試行します。複数の候補更新の中から「能力の維持」と「安全性向上」を同時に満たすものを選ぶために、パレート・ゲート（Pareto gate）と呼ばれる基準を用いて更新を採用し、これを再帰的に繰り返します。要するに、能力を大きく損なわずに安全面での改善が最大となる更新を順に積み重ねる手法です。

実験と主な結果 論文では、密結合（dense）モデルと混合専門家（mixture-of-experts）モデルを含む四つのモデルを対象に実験を行い、いくつかの安全ベンチマークで評価しています。注目すべき定量結果として、未知の攻撃に対する耐性を測る指標「X-Teaming（クロス・ティーミング）攻撃成功率」の平均を、対象の四モデルで86.01％から31.45％へと大幅に低下させたと報告しています。この値は、比較対象として挙げられたフロンティア的モデル（GPT-5.6-Luna）の56.69％を下回り、訓練時に見えていない攻撃に対する回復力の向上が示唆されます。加えて、学習済みの一般能力（タスク性能）を大きく損なうことなく、安全性ベンチマークを改善できたとしています。

なぜ注目に値するか 本研究は、自己改善という能力拡張のプロセス自体を安全性改善に利用するという点で新しい示唆を与えます。実運用でモデルが頻繁に更新される現実を踏まえ、各チェックポイントごとに安全性評価と対策を組み込む手法は、実務的に有用な方向性です。また、評価と更新を自動化することでスピードを出しつつ、パレート基準で能力低下を抑える点も実務上の利点です。

限界と注意点 一方で、いくつか重要な制約と慎重な解釈が必要です。まず本稿はarXivの査読前稿であり、独立した再現や拡張実験が必要です。報告された実験は特定のモデル群とベンチマークに依存しており、他のアーキテクチャやより強力な適応的攻撃に対して同様に効果的かは未検証です。さらに、自動化されたレッドチーミングが想定できる攻撃の多様性にどこまで追いつけるか、あるいは攻撃者が防御過程に適応するとどうなるかといった問題も残ります。最後に、自己改善のプロセス自体が誤用されれば危険を拡大する可能性があるため、人間の監督や外部審査、透明性といったガバナンス措置が不可欠です。

今後の実務的・研究的課題 著者らの結果は再帰的な安全改善の実現可能性を示唆しますが、次の課題が重要です：独立した再現実験と公開ベンチマークでの検証、より多様で適応的なレッドチーミング手法の導入、訓練コストや計算資源の評価、そして人間中心の監督と外部監査の組み込みです。また、改善の過程で能力と安全性のトレードオフがどう変動するかを長期的に追う必要があります。