要旨 NVIDIAの研究チームが arXiv に公表したプレプリント「Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe」は、事前学習（pretraining）とポストトレーニング（SFT／RL といった微調整）の間に挿入する「ミッドトレーニング」段階の具体的な作り方とその効果を報告しています。著者らはデータ構成、フィルタリング、ハイパーパラメータのアブレーションを詳述し、実験では Nemotron 系の 2 サイズのモデルで実用的な改善を確認しました。以下、主な内容と慎重な解説をまとめます。

背景と狙い 近年のフロンティアモデルでは、短文脈での大規模事前学習の後にSFTやRLによるポストトレーニングを行いますが、実際のソフトウェア開発やエージェント的なやり取りは非常に長い文脈やツール呼び出しを含みます。単純に事前学習を伸ばすか、SFT を長くすると RL に悪影響を与える可能性が指摘されており（SFT の過学習で RL での伸びが減る等）、それらのギャップを埋めるのが「ミッドトレーニング」です。

レシピの概要 著者らのミッドトレーニングは次の特徴を持ちます。 - コンテキスト長 256K トークンで訓練（長文を扱える中間段階） - 数百億〜数千億トークン規模（実験では最大 500B トークン） - 自然発生的なソフトウェア工学データ（リポジトリ、PR／Issue、コミット履歴、CI／ビルドログ等）を多く含む - エージェント軌跡（tool 呼び出しを含むやり取り）は少量（約10–15%）だけ混合し、ツールの応答は損失計算からマスクして学習（“assistant turns” のみ学習） - 事前学習データのリプレイを 20% 程度混ぜることで急な分布変化を和らげる - 学習率やリプレイ割合などのアブレーションで方針を決定

主な実験結果（要約） - Nemotron 3.5 Lightning（約 30B パラメータ）: 500B トークンのミッドトレーニング後、同一のフル SFT を経た比較で SWE-bench Verified が 60.7% → 64.5%、SWE-bench Multilingual が 55.8% → 62.8%、SWE-bench Pro が 32.0% → 35.5% に改善。 - Nemotron 3.5 Super（約 120B）: 280B トークンのミッドトレーニング後、DeepSWE（長期化タスクが多い難しいベンチ）で 11.7% → 15.7%、SWE-bench Verified が 72.9% → 74.3% に改善。 - エージェント実行ハーネス（利用インターフェース）が異なる複数条件での頑健性も向上し、多様なハーネスで性能が安定した。

重要な工夫と発見 - 自然データ（リポジトリ等）だけでなく、少量のエージェント軌跡を混ぜることが SFT 後の実用的性能向上に重要だった。天然データのみだと SFT 後の改善は限定的にとどまる。 - トレース中の「ツール応答」を損失に含めると性能が下がる観察があったため（応答を予測させるとモデル容量が分散される可能性）、ミッドトレーニングではツール応答をマスクして学習している。 - ミッドトレーニング自体が“長文脈化”の役割を果たす側面があり、256K での訓練は長文の扱いに寄与する。 - 事前学習データのごく一部をリプレイ（例: 20%）することで、既存の能力を大きく損なわずに新しい分布に適応できるというトレードオフが確認された。

評価プロトコルと慎重さ 著者らは「ベースモデル上の代理指標（bits-per-byte や LoCoDiff 等）は、必ずしもポストトレーニング後の性能を正確に予測しない」ことを指摘し、最終的には同一の SFT（短 SFT とフル SFT の両方）を通した後の総合的評価で比較しています。論文でも検証ノイズやラン間のばらつきに注意を払っており、単発の微小な差は過度に解釈しないように呼びかけています。