> [!abstract] 概要(arXiv abstract の日本語訳) > 強化学習(RL)はLLMの複雑な推論タスク向上に中心的な役割を果たすようになったが、RL事後学習は、それに先立つ事前学習からは大きく切り離された状態で研究されている。その結果、2つの基本的な問いが未解決のまま残っている。(1) 事前学習の選択(モデル規模、データ)はRL計算量に対するリターンをどう形作るか。(2) RLは実際にモデルに対して何をしているのか。これらの問いは標準的なLLMの設定では研究しにくい。事前学習コーパスは膨大かつ制御不能であり、挙動を事前学習由来かRL由来か切り分けることが難しく、両段階を横断した系統的な計算量スイープは法外に高価だからだ。これらの課題に対処するため、本研究ではチェスを、事前学習から事後学習までのパイプライン全体にわたる推論を研究するための制御されたテストベッドとして用いる。人間のチェスの対局データで5Mから1Bパラメータの言語モデルを事前学習し、合成推論トレースによる教師あり微調整(SFT)を行い、検証可能な報酬を伴うチェスパズル上でRLを実行するという、標準的なLLM訓練パイプラインに従う。このフレームワークを用いて、事前学習とRLを結びつけるスケーリング則を確立した。すなわち、所与のRL計算量レベルにおける事後RL性能は事前学習損失からよく予測でき、RL報酬曲線の傾きは事前学習トークン数とともにほぼ線形に改善する。スケーリングを超えて、RLが単にSFTポリシーをシャープニングするだけではないことも発見した。易しいパズルではSFTポリシーが既に好んでいた正解手を増幅する一方、難しいパズルではSFT下でほぼ存在しなかった正解手を表面化させる。さらに、1Bパラメータの言語モデルを数学ドメインで訓練することで、この発見がチェスを超えて成り立つかを検証したところ、同じ予測パターンが現れた。すなわち、より長く事前学習されたチェックポイントほど、より高い事後RL性能に到達し、RLの下でより速く改善する。総じて、本研究は事前学習からRLへのインターフェースに関する定量的な説明と、事前学習から事後学習までのパイプライン全体にわたる推論の科学を研究するための制御されたテストベッドを提供する。 ## 論文情報 - タイトル: Understanding Reasoning from Pretraining to Post-Training - 著者: Jingyan Shen・Ang Li・Salman Rahman・Yifan Sun・Micah Goldblum・Matus Telgarsky・Pavel Izmailov - 所属: New York University・Modal Labs・University of California, Los Angeles・University of Illinois Urbana-Champaign・Columbia University - 媒体: arXiv preprint(cs.LG) - 投稿日: 2026年7月17日 - arXiv ID: 2607.16097 - モデル・データセット: huggingface.co/pavelslab-nyu/pre2post-chess - コード: github.com/pavelslab-nyu/pre2post-chess ## 概要 RL事後学習が実際の事前学習からどのように恩恵を受け、また何をモデルに対して行っているのかを定量的に調べるため、チェスを制御可能なテストベッドとして用いた研究である。人間の対局データによる事前学習・合成推論トレースによるSFT・検証可能パズル報酬によるRLという、標準的なLLMパイプラインをチェス領域に移植し、5Mから1Bパラメータまで10段階のモデル規模で36通りの事前学習-RL計算量の組み合わせを訓練した。その結果、事前学習損失とRL報酬曲線の傾きから事後RL性能を予測する結合スケーリング則を導出し、さらにRLがポリシーに与える影響を難易度別に分解して、単純なシャープニングでは説明できない不均一な挙動を明らかにした。 ## 問題設定 - **入力・出力**: チェスの盤面状態を1手ごとに4トークン(⟨piece⟩⟨source⟩⟨destination⟩⟨flag⟩)でシリアライズした系列。語彙サイズは81。事前学習は人間対局の着手系列の次トークン予測、SFTはパズル(初期盤面 + 正解手順)に対する合成推論トレース付きの解答生成、RLは検証可能な二値報酬(全手が正解手順と一致すれば1、途中で1手でも外れれば0)によるパズル解決。 - **前提**: モデルはQwen3ベースの密なdecoder-only Transformerで、5M/10M/20M/32M/50M/100M/200M/410M/680M/1Bの10規模を用意。 - **データ**: 事前学習は2022年のLichess Blitz/Rapid対局から54Bトークン(Elo 800〜3000でバランス)。SFT・RL訓練は156K件の品質フィルタ済みLichessパズルを難易度5段階(B1〜B5、易→難)に区分し、42Kをsfoftrainingに、69.3K(易寄り70%)をRL訓練に使用。評価は1,480件のタクティカルパズル(テーマ・解の長さでバランス)を用い、B5は現行モデルではほぼ解けないためpass@k集計にはB1〜B4のみを使い、B5は難易度別のメカニズム分析(§4.1)に温存する。3つのデータセットは盤面位置レベルで互いに素であることを保証(コンタミネーション防止)。 ## 提案手法 - **アーキテクチャ**: 標準的なLLM訓練パイプライン(事前学習→SFT→RL)をチェスにそのまま移植した3段構成。事前学習は人間対局の着手系列予測、SFTは合成推論トレース付き解答の教師あり学習、RLは検証可能パズル環境でのGRPOによる方策最適化。 - **合成推論トレースの構成**: 事前学習済みモデル(提案方策)から入力盤面に対しK個の継続系列をサンプルし、共通の接頭辞でマージして木構造にする。木を深さ優先順序でシリアライズし、`<T>`と`</T>`で区切られた思考トレース`r`を得た上で、正解の継続系列τ⋆を続けて訓練する(オポーネント側の着手はloss maskで除外)。外部探索アルゴリズム(MCTS等)を使わず、モデル自身の分布に近いテキスト内推論を模倣する設計。 - **RLアルゴリズム**: SFTポリシーを起点に、Group Relative Policy Optimization(GRPO)でパズル環境上を最適化する。1状態あたりG本の軌道をサンプルし、報酬をグループ内で正規化してアドバンテージを得る。RLは8基のNVIDIA H200 GPUで実施、学習率1e-5、KL係数β=0.001、clip比ε=0.2、group size G=8。 - **結合スケーリング則の導出**: RL報酬曲線をシグモイド型RLスケーリング則(Khatri et al., 2025)のRL計算量が非飽和領域にあるという前提の下で1次テイラー展開し、`R_{N,T}(C) = Rref_{N,T} + B_{N,T}(log10 C − log10 Cref)`という対数線形の局所フィットで近似する。各(N, T)条件ごとにこの式をOLSで当てはめ、切片Rref_{N,T}を事前学習検証損失、傾きB_{N,T}を事前学習トークン数(および対数モデル規模)から予測する2つの回帰を構築する。最終的にChinchilla則による事前学習損失予測 `L(N,T)` と組み合わせ、`R(CRL,N,T) = f(Lpt(N,T)) + g(N,T)(log10 CRL − log10 Cref)` という結合則で、実際に訓練していない(N,T,CRL)のレシピの性能を外挿する。 ## 新規性 - 既存の事前学習スケーリング則(Kaplan et al. 2020、Hoffmann et al. 2022)とRLスケーリング則(Khatri et al. 2025のシグモイド則、Cheng et al. 2026)は互いに独立に定式化されており、事前学習の初期化がRLスケーリングの形そのものをどう変えるかを定量化した研究はなかった。本研究は、事前学習の損失・トークン数という単純な要約統計量からRL報酬曲線の切片と傾きを予測する結合スケーリング則を初めて構築した点が新規性である。 - RLがSFTポリシーに対して行う変化について、Yue et al. (2025)は「RLは主に既存の推論パターンをシャープニングするだけ」、Yuan et al. (2025)は「RLは事前学習済みスキルを新たに組み合わせる」と対立する主張をしてきたが、本研究はパズル難易度別に正解手のtop-k帰属(Ground-truth amplification / Tail discovery / Wrong-mode amplification)を定量化することで、両者がともに部分的に正しく、難易度に依存して混在することを示した。 - チェスという小語彙(81トークン)・完全検証可能な環境を用いることで、事前学習からRLまでの計算量スイープ(36通り)を、自然言語モデルでは法外なコストになる規模で系統的に実施できた点も方法論上の貢献である。 ## 実験設定 - **ハードウェア**: 事前学習は8基のNVIDIA H200 GPU、SFTは4基のNVIDIA H100 GPU、RLは8基のNVIDIA H200 GPU。参考値として2000 RLステップは50Mモデルで約160 H200 GPU時間。 - **モデル規模**: 20M/50M/200M/680Mの4規模を用いて事前学習-RLフロンティア分析(§3.2)、10規模(5M〜1B)全体をpre-RLスケーリング分析(§3.1)に使用。 - **比較設定**: SFTについては合成推論トレースを使う設定と使わない設定(目標手順のみ学習)を比較。RLについては、固定の総計算量予算内でチェックポイント(事前学習トークン量)を変えながらRLに残り計算量を割り振り、各チェックポイントの最終性能からフロンティアを構成する。 - **評価指標**: pass@1・pass@16(k=1,16でサンプルした解のいずれかが正解手順と完全一致する割合)。RL報酬曲線のフィッティングにはpass@1(中間難易度B3–B4サブセット)を使用。 ## 実験結果 - **RQ1: 事前学習-RL計算量トレードオフ(Fig. 2)**: 全モデル規模でRLはpass@1を大きく改善し続ける。固定総予算のフロンティアは、予算が小さいうちは高い事前学習比率(低RL比率)を選び、予算が増えるにつれてRL比率が増加する。例えば20Mモデルではフロンティア上のRL計算比率が5%から32%まで増加する。一方pass@16はより複雑な挙動を示し、20Mモデル以外ではRL追加による改善がほぼ横ばい、時にわずかに悪化するケースもある。 - **RQ2: 結合スケーリング則(Fig. 3)**: 固定RL計算レベルでの性能Rref_{N,T}は事前学習検証損失と強く相関し、参照計算量log10 Crefが16から20に増えるにつれてSpearman相関|ρ|が0.93から0.99へ単調に強まる。傾きB_{N,T}は事前学習トークン数log10 Tと正の線形相関(Pearson r=+0.84)を示し、log10 Tとlog10 Nの両方を使う結合線形モデルが最も高いR²(0.84)を達成、その結合フィットではlog10 Tの係数がlog10 Nより大きい。 - **複合最適フロンティアの外挿(Fig. 4)**: 結合則とChinchilla損失予測を組み合わせ、20Mから2Bまで13段階のモデル規模・260通りの総計算量予算・400通りの(T, CRL)分割候補についてグリッド探索を行った。最適RL計算比率は総計算量の増加とともに増加し(50Mで約20%、680Mで約28%)、一方で最適な事前学習トークン配分はChinchilla則からの系統的な逸脱を示さなかった。 - **RQ1(メカニズム): RLによる方策変化のカテゴリ分類(Fig. 5)**: 正解手が初期ポリシーのtop-k(k=3)集合に既にあり強化される「Ground-truth amplification」、確率0.05未満のテールから正解手がtop-kへ昇格する「Tail discovery」、正解手がtop-k外のまま誤答が強化される「Wrong-mode amplification」の3カテゴリで分析。易しいパズル(B1〜B2)ではGround-truth amplificationが支配的(B1で約0.8)だが、難易度が上がるにつれてTail discoveryとWrong-mode amplificationがともに増加し、B5ではWrong-mode amplificationが約0.18〜0.20に達する。 **Figure 5: RLの方策変化カテゴリ別割合(難易度B1〜B5、RLステップ50〜750)** ![[_attachments/arxiv-2607.16097/fig05-policy-change-categories.png]] (Figure 5. 各パネルはGT Amp・Tail Discovery・Wrong-Mode Ampのいずれかのカテゴリに分類された盤面状態の割合を難易度ビン別に示す。易しいパズルではground-truth amplificationが支配的だが、難しいパズルではtail discoveryとwrong-mode amplificationがともに増加する。Source: Figure 5.) - **RQ2(メカニズム): 難パズルにおける方策進化の質的例(Fig. 21)**: B5のある難パズルで、RL訓練を通じてほぼ確率0だった正解手(b6e3)が徐々にテール分布から浮上し、最終的に上位候補になる過程を示す。 **Figure 21: 難パズルにおけるRL訓練を通じた方策の質的進化** ![[_attachments/arxiv-2607.16097/fig21-policy-evolution-hard-puzzle.png]] (Figure 21. Pretrain/SFT/RL各段階での正解手候補の確率分布パネルとチェス盤上の正解手(赤矢印、b6→e3)を示す。RLがテール分布から正解手を発見する定性例。Source: Figure 21.) - **CoT構造の進化(Fig. 22)**: 20Mと50Mの計算量を揃えたRLランを比較すると、候補手数・幅対深さ比・着手品質・CoT中で正解手が表出する割合・DFS一貫性τ・訪問し直し率(revisit rate)のいずれも、RLの進行とともに探索の幅が広がる一方で最大探索深さはほぼ横ばいであることを示した。 **Figure 22: RLを通じたCoT進化の各種指標** ![[_attachments/arxiv-2607.16097/fig22-cot-evolution-metrics.png]] (Figure 22. 候補数、幅対深さ比|L|/D、着手品質、CoT中の目標手出現率、DFS一貫性τ、訪問し直し率の6指標を20M/50Mモデルで比較。RLは探索の幅を広げるが深さの改善は限定的であることを示す。Source: Figure 22.) - **チェスを超えた移行(Fig. 6)**: 1BパラメータのOLMo-2を70% Nemotron-CC-Math-v1・30% Dolma3の200Bトークン混合コーパスで事前学習し、10Bから200Bトークンまでの14チェックポイントでNuminaMath-CoTによるSFT後にGSM8K/MATH/DeepScaler混合コーパスでRLを実施したところ、チェスと同様のパターン(事前学習損失が事後RL性能を予測、傾きが事前学習トークン数と線形)が再現された。 ## 考察 - 事前学習は2つの経路でRLに影響する。(1)より低い事前学習損失は、固定RL計算量における事後性能をより高くする、(2)より大きい事前学習データ規模は、報酬がRL計算量とともに成長する速度(傾き)を改善する。これら2つの効果は独立して定量化できる。 - RLはpass@1により直接的に寄与する一方、pass@kは事前学習規模により敏感である。したがって低計算量領域では事前学習が最終性能の支配的要因になり、計算量予算が増えるにつれてRLは事前学習と比例的にスケールすべきという指針が得られる。 - RLは一様な「シャープニング」ではない。難易度に応じて系統的に異なる挙動を示し、易しいパズルでは既存の正解手を増幅、難しいパズルでは埋もれた正解手を発見しつつ誤ったモードも強化する。この混在した再分配が、RLがpass@1を改善しつつpass@16を一貫して改善しない理由を説明する。 - 事前学習が弱いチェックポイントからRLを早期に開始しても限定的な利得しか得られないことから、RLは依然として初期化に強く依存し、効果的になるには十分な事前学習の暴露が必要であることが示唆される。 ## 強み / 弱点・課題 - **強み**: チェスという小語彙・完全検証可能な環境を用いることで、自然言語モデルでは法外に高価な事前学習-RL間の系統的な計算量スイープ(36通り)を実現した。事前学習からRLへの影響を定量的なスケーリング則として初めて定式化し、さらに数学ドメインの1Bモデルでも同じパターンが再現されることを確認して一般化可能性の初期的な証拠を示した。 - **弱点・課題(論文が明示する限界)**: チェスは語彙が81トークンと小さく、検証が厳密で、推論が世界知識や流暢さと絡み合わないため、得られたスケーリング指数やカテゴリ比率はチェスに特化した構造の記述であり、自然言語LLMへの定量的な予測とみなすべきではない。RL環境は一意な正解を持つパズルと二値報酬に限定されており、自然言語タスクに一般的な部分点報酬やオープンエンドな報酬とは異なる。モデルは最大1Bパラメータまでにとどまり、事前学習比率の減少などのスケーリング傾向がより大規模で同様に成り立つかは未検証。構造化されたCoT形式(木構造のシリアライズ)を用いており、異なる推論トレース形式ではRLによるCoT進化の挙動が異なる可能性がある。