ポストトレーニングで言語モデルがIOIで金メダル相当の成績を達成
この論文は、プログラミングコンテストで高得点を出すために言語モデルを「特化」させる手法を示します。著者らは、大量の問題集と追加の学習工程を組み合わせることで、モデルの問題解決力を大きく向上させました。国際情報オリンピック(IOI)の問題セットを用いた評価で、モデルが金メダル相当の点数を超える結果を報告しています。
研究チームはまず22,000問の問題を収集・整備しました。次に「合成推論トレース」と呼ぶ手法で解答過程の例を作り、教師ありファインチューニング(SFT: Supervised Fine-Tuning、正解例を学習させる)と強化学習(RL: Reinforcement Learning、試行と報酬で性能を高める)を組み合わせてモデルを訓練しました。具体的には、Nemotron-3-Nano-CC(30B‑A3B)をSFTとRLで、Nemotron-3-Ultra-CC(550B‑A55B)をSFTのみで訓練しています。
さらに、実行時に動く新しい戦略「GenCorrect」を導入しました。これはフィードバック駆動の方法で、複数の解答候補を生成し、実際に評価して失敗箇所を見つけ、繰り返し修正するという流れを取ります。要するに「たくさん解を作って、試して、直す」を繰り返す仕組みです。こうした試行錯誤をテスト時間中に行うことで、単一出力よりも堅牢な解答を得られます。
実験結果は具体的です。IOI 2025の採点で、Nano‑CCはポストトレーニング前に130点だったものがSFT/RLで291点に上がり、GenCorrectを加えると468点になりました。金メダル判定の閾値は438.3点で、Nano‑CCはこれを超えています。Ultra‑CCは502点に到達しました。さらに著者らは、IOI 2026を想定した実戦的な評価で、制限時間・インターネット利用・提出回数といった人間と同じ条件のもとで競技専用のUltra‑CCシステムを動かし、600点満点中535.4点を獲得したと報告しています。これは金メダル閾値361.12点や、人間の最高得点498.27点を上回る成績です。著者らによれば、これはIOI問題セットで最高得点の人間を上回った初めてのAIシステムだとしています。
重要な注意点もあります。これらの結果はIOIの問題セットと競技条件に基づくものであり、別の種類の問題や実世界のタスクにそのまま当てはまるとは限りません。モデル訓練には大規模なデータ(22,000問)と大きなモデル(30B、550Bパラメータ)を用いており、相応の計算資源と工学的な整備が必要です。論文には制限事項の節も含まれていると明記されていますが、この要約で示した以外の詳細な制約や長期的な一般化可能性については、本文の精読が必要です。