# 検証可能報酬による強化学習 Navigation: [[index]] | [[concepts/_index|concepts]] ## 定義 検証可能報酬による強化学習(RLVR: Reinforcement Learning with Verifiable Reward)は、ポリシー(LLM)の出力に対して**客観的に検証可能な離散・連続報酬**(完全一致、IoU、MAE、フォーマット準拠など)を与え、人間フィードバックなしに後訓練を行う枠組みだ。DeepSeek-R1 のチェーン・オブ・ソート訓練で広く知られ、コード・数学・視覚推論・映像理解・時系列推論へと適用範囲が急速に拡大している (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。Group Relative Policy Optimization (GRPO) が代表的な最適化アルゴリズムで、複数ロールアウトに対する報酬の相対順位からアドバンテージを推定する。 ## 横断的知見 - **報酬関数の構成は二段階(タスク報酬 + フォーマット報酬)が事実上の標準**。Time-R1 は `r = rtIoU + rform` の和で `<think></think><answer></answer>` スキーマ準拠を強制した。TimeOmni-1 も R_format に加えて離散タスク用 R_discrete ∈ {0,1}(完全一致)と予測タスク用 R_count(系列長ボーナス + MAE 正規化指数減衰)を組み合わせる。フォーマット報酬を分離する設計はクロスドメインで共通の知恵 (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。 - **SFT より圧倒的に少ないデータで上回る**。Time-R1 は 2.5K サンプルで 339K サンプル(136 倍)の SFT-LoRA を超え、TimeOmni-1 は 1K 以下のシード CoT + RL で GPT-4.1 を因果発見精度 40.6%(ID)・28.1%(OOD)上回る。データ効率が RLVR の最も再現性のある利点 (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。 - **コールドスタート CoT で RL の探索空間を絞り込む**。Time-R1 と TimeOmni-1 はともに、少数の CoT フォーマット例で推論の型を定着させてから RL 本訓練に移行する二段階戦略を採用する。TimeOmni-1 は Stage 1 を飛ばすと RL が逆効果(因果発見 −5.3%)になることを明示的にアブレーションで示した。RLVR は事前注入されたプライアの精錬器であり、ゼロからの誘導器ではない (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。 - **SFT の「偽陰性過剰ペナルティ」を回避できることが RLVR の理論的優位**。Time-R1 は予測 [1.9s, 3.9s] に対し正解 [2s, 4s] でも自己回帰損失が高くなる SFT の構造的問題を指摘し、IoU を直接最適化することで緩和できると主張する。これは離散一致を求めない連続値タスク(時間区間・座標・量的予測)で特に効く知見 (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]])。 - **GRPO の汎用性**。Time-R1(映像言語)と TimeOmni-1(時系列)で同じ GRPO ベースの最適化が機能する。アルゴリズムレベルではドメイン非依存で、報酬関数の設計次第で新規ドメインに展開しやすい。 - **汎用推論能力への副作用は限定的または正方向**。TimeOmni-1 では時系列特化後も DROP・GPQA・ReClor で +16.5% の改善を示し、Time-R1 では映像 QA(VideoMME: 53.0→54.2)が改善した。RLVR による特化が破滅的忘却を起こさない事例が複数積み上がっている (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。 - **GRPOベースのRLVRを、事前学習からの結合スケーリング則という観点で定量分析した例が現れた**。[[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]] はチェスパズルという検証可能報酬ドメイン(合法手・チェックメイトの成否で機械的に判定可能)でGRPOを適用し、事前学習の損失・トークン数からRL報酬曲線の切片・傾きを予測する結合スケーリング則を導出した。Time-R1・TimeOmni-1 が「報酬関数の設計」「コールドスタートCoT」という訓練レシピの観点から RLVR を論じるのに対し、この論文は「RLVRの効果は事前学習にどれだけ依存するか」というスケーリング則の観点を提供し、両者は相補的な視点を成す。(Source: [[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]]) - **RLによるポリシー変化を「正解の増幅」「テールの発見」「誤ったモードの増幅」の3categoryに分類**。同論文は難易度ビン別の分析で、RLVRが単に正答率を上げるだけでなく、事前学習時点で低確率だった正解を掘り起こす(tail discovery)場合と、誤った手を誤って強化してしまう(wrong-mode amplification)場合があることを定量的に示した。これは下記「報酬ハッキングの検出と防止」という未解決の問いに対し、失敗モードを類型化する分析軸を提供する。(Source: [[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]]) - **数学ドメインでは「答えの形式を書き換えて検証可能性を確保する」という前処理自体が実務上の主要課題になる**。DAPO([[@2025__arXiv__DAPO - An Open-Source LLM Reinforcement Learning System at Scale]])は数式・分数・根号を含む多様な形式の数学解答を、ルールベース報酬でパースできる整数解へ LLM 自身に書き換えさせるデータ変換(DAPO-Math-17K)を提案した。R(ŷ,y) = 1 if is_equivalent(ŷ,y) else −1 という単純な二値報酬(式 7)を採用し、報酬モデルに起因する報酬ハッキング(Source: [[報酬ハッキング]])を明示的に回避している。TimeOmni-1・Time-R1 が「連続値タスクへの報酬関数設計」を課題とするのに対し、DAPO は「離散検証可能性そのものをデータ変換で作り出す」という別解を示した点で対照的。 - **RLVR のスケーリングは訓練安定性の問題と表裏一体である**。DAPO は naive GRPO による RLVR 適用が Qwen2.5-32B で AIME 30 点に留まり、[[エントロピー崩壊]]・報酬ノイズ・勾配消失という 3 つの訓練不安定性が原因であることを特定した。Clip-Higher・Dynamic Sampling・Token-Level Loss・Overlong Reward Shaping という 4 技術を追加して初めて 50 点(DeepSeek-R1-Zero-Qwen-32B の 47 点を上回る)に到達しており、RLVR の「検証可能な報酬さえあれば学習できる」という単純化は大規模化の実践では成立せず、最適化アルゴリズム側の工夫が不可欠であることを定量的に示した(Source: [[@2025__arXiv__DAPO - An Open-Source LLM Reinforcement Learning System at Scale]])。 - **「検証可能」の境界を、ルールベースの厳密一致から、軽量なプロセス報酬モデル(PRM)の学習済みスコアへ拡張した事例が RCA ドメインに現れた**: 本 concept はこれまで「検証可能」を IoU・MAE・完全一致のような機械的に判定できる報酬に限定してきたが、[[OpsLLM]]([[@2026__arXiv__OpsLLM - Construction of Large Language Model for Software Operations with Multi-stage Learning]])のドメインプロセス報酬モデル(DPRM)は、5つの採点ルーブリック(証拠グラウンディング・トポロジ整合性・因果完全性・予測支持性・論理的整合性)で LLM(GPT-5.2 設計・Qwen-Max によるラベル付け)が採点した 0〜5 点のスコアを、Qwen2.5-3B-Instruct に蒸留した軽量モデルである。人間専門家とのスピアマン順位相関 0.88 という高い整合性を示しており、「機械的一致」ではなく「学習済み品質評価器」を報酬源とする点で、TimeOmni-1・Time-R1 のような連続値・離散一致報酬とは異なる第三の報酬設計を提供する。(Source: [[@2026__arXiv__OpsLLM - Construction of Large Language Model for Software Operations with Multi-stage Learning]]) - **段階ゲート型カリキュラムが、本 concept の「コールドスタート CoT」パターンとは異なる形で探索空間を制御する事例が現れた**: 本 concept は Time-R1・TimeOmni-1 で「少数の CoT フォーマット例による事前注入」がRLの探索空間を絞り込むパターンを蓄積してきたが、OpsLLM のゲーティング機構($g_1, g_2 \in \{0,1\}$、式4)は訓練前の事前注入ではなく、**訓練中に前提条件(フォーマット→コンポーネント正解→タイプ正解)を段階的に課す**ことで報酬伝播を制御する。著者らのアブレーションでは、フォーマット・結果・プロセスへ同時に報酬付けする naive GRPO は「モデルが部分的に正しく安定した出力からの報酬に収束する」ため改善が限定的だったのに対し、段階ゲーティングを導入すると RCA 精度が大幅に改善した。これは DAPO が発見した「naive GRPO の大規模化には追加の安定化技術が要る」という知見(Clip-Higher・Dynamic Sampling 等)とは異なる種類の不安定性——**報酬の疎密でなく報酬対象の階層的従属関係**——への対処法である。(Source: [[@2026__arXiv__OpsLLM - Construction of Large Language Model for Software Operations with Multi-stage Learning]] §V-B アブレーション) - **DeepSeek-R1 は同一パイプライン内で「検証可能な RLVR」と「検証不能な学習済み報酬モデル」を使い分けており、RLVR の境界を実例で示す**: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]が読み解く DeepSeek-R1 は、数学・コーディングなど正誤が機械的に判定できるデータには GRPO とルールベース報酬(RLVR)を適用する一方、無害性やリスク・バイアスの評価が必要な汎用タスクには「人間の相対評価データも使って学習した報酬モデル」を使用しており、思考の連鎖部分も含めて評価する。同一モデルの学習パイプライン内でこの2種類の報酬設計が並存する事実は、本 concept が未解決としてきた「検証可能とみなせる報酬の境界」に対し、少なくとも DeepSeek-R1 の実装では「ドメインによって使い分ける」ことが答えであったことを示す一次事例である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]) - **DeepSeek-R1-Zero の報酬設計(ルールベース限定)は、DAPO が指摘する「報酬モデルに起因する報酬ハッキング」を設計段階で回避する選択そのものである**: 教科書は DeepSeek-R1-Zero の報酬モデルについて「ニューラルネットワークを使うと報酬ハックを引き起こす可能性があるという観察に基づき、ニューラルネットワークは使っていない」と明記する。これは本 concept が DAPO の知見として蓄積してきた「報酬モデルに起因する報酬ハッキングを明示的に回避する」設計判断と同一の問題意識であり、DeepSeekMath→DAPO→DeepSeek-R1 という系譜全体でルールベース報酬への収束が一貫していたことを裏づける。フォーマット報酬(`<think>`/`</think>`タグの遵守)のみを別途課す設計は、Time-R1・TimeOmni-1 の「タスク報酬+フォーマット報酬」の二段階構成と同型である。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]], [[@2025__arXiv__DAPO - An Open-Source LLM Reinforcement Learning System at Scale]]) - **「アハ体験」の解釈に、教科書は既存の楽観的な引用とは異なる懐疑的な留保をつけている**: DeepSeek-R1 原論文はモデルが自律的に出力を見直す「アハ体験」を、強化学習が新たな知性を引き出す証拠として肯定的に紹介するが、教科書は「原論文で紹介されている例はアハ体験の前後で特筆すべき解答の違いが見いだせず、また実験としてアハ体験が起こった後に正しく問題を解けるようになったことが示されているわけでもない」と明示的に批判している。これは本 concept が「報酬ハッキング(フォーマット報酬だけ最大化して答えを放棄する病理)の検出と防止の体系はまだない」としてきた問題意識と表裏一体であり、RLVR が生む創発的に見える挙動(アハ体験・wrong-mode amplification)の解釈には、原論文の記述をそのまま受け取らず効果量を検証する視点が必要であることを示す。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]) ## 未解決の問い - DeepSeek-R1 のように「検証可能ドメインには RLVR、検証不能ドメインには学習済み報酬モデル」を単一パイプライン内で使い分ける設計は、どのような基準でドメインを分割すべきか。数学・コードのように明確な例以外(要約、対話の一貫性など)の境界線引きは未整理。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]) - 連続値タスク向けの報酬関数(指数減衰・IoU・距離ベース)の設計空間はどこまで広げられるか。TimeOmni-1 の R_count(系列長ボーナス + MAE)は予測向け一例にすぎない。 - コールドスタート CoT の最低必要量はどこか。Time-R1 と TimeOmni-1 はともに少数で済むと報告するが、量的閾値(何件が最低限有効か)とドメイン依存性は未解明。 - GRPO 以外の最適化アルゴリズム(PPO・DPO・REINFORCE 等)との比較は時系列・映像ドメインで網羅的でない。 - RLVR のスケーリング則は LLM 事前学習のスケーリング則と同じ形を取るか。報酬の希薄性とエピソード長の関係は未整理。 - 「検証可能」とみなせる報酬の境界はどこか。曖昧な答えを許容するタスク(自然言語生成、要約品質)に RLVR をどう拡張するか。 - 報酬ハッキング(フォーマット報酬だけ最大化して答えを放棄する病理)の検出と防止の体系はまだない。[[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]] の wrong-mode amplification 類型は関連する現象の一端だが、体系的な検出・防止手法はまだ提示されていない。 - **訓練データを 1 問に絞っても全データと遜色ない性能に到達できるか**: Wang+ NeurIPS 2025 は MATH500 で 36.0% → 73.6%（全データ ≒ 73%）を 1 問 RLVR で達成したと報告する。「どれだけ多様な問題を見せるか」というスケーリング軸への反証的知見であり、少データ設定でのエントロピー正則化の役割が重要になる (Source: [[joisino-訓練データ1個推論性能倍-2025]])。 ## 関連 - 上位概念: [[エージェント型強化学習]]・[[強化ファインチューニング]]・[[強化学習スケーリング]]・関連章: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]] - 接続: [[時系列推論]](TimeOmni-1 で RLVR が時系列ドメインに適用された)・[[時間的映像グラウンディング]](Time-R1)・[[テスト時計算スケーリング]](RLVR は推論時ではなく後訓練時のスケーリング)・[[文脈内学習]](コールドスタート CoT が前提)・[[1サンプルRLVR]](訓練データを 1 問に絞った極端な少データ設定)・[[LLMによる根本原因分析]](OpsLLM の DPRM は RCA 訓練時整合の RLVR 応用) - 関連 entity: [[DeepSeek-R1]](RLVR を広く知らしめた原型)・[[NVIDIA]](TimeOmni-1 の Academic Grant)・[[GRPO]](DAPO・OpsLLM が拡張した最適化アルゴリズム)・[[OpsLLM]](DPRM による段階ゲート型 GRPO を RCA ドメインに適用)・[[VeRL]](OpsLLM の RL 訓練基盤) - MOC: [[structures/000 Index]] ## 出典 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]] — DeepSeek-R1のルールベース報酬(RLVR)と学習済み報酬モデルの使い分け、アハ体験に対する懐疑的な読み解き - [[@2026__arXiv__OpsLLM - Construction of Large Language Model for Software Operations with Multi-stage Learning]] — ドメインプロセス報酬モデル(DPRM)による軽量 PRM 報酬、段階ゲート型 GRPO カリキュラム、RCA タスクでの人間専門家スピアマン相関 0.88 - [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]] — TVG への GRPO 適用、tIoU 報酬、2.5K サンプルで SFT-LoRA(339K)を超える - [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]] — 時系列推論への GRPO 適用、SFT + RL 二段階、報酬関数(R_format + R_discrete + R_count) - [[joisino-訓練データ1個推論性能倍-2025]] — Wang+ NeurIPS 2025 の解説。1 問 RLVR でも全データと同等性能に到達。エントロピー正則化と内省語習得のメカニズムを詳述。 - [[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]] — チェスパズルドメインでのGRPO適用、事前学習-RL結合スケーリング則、ポリシー変化の3category分類 - [[@2025__arXiv__DAPO - An Open-Source LLM Reinforcement Learning System at Scale]] — 数学ドメインでの規則ベース報酬とデータ変換によるRLVR実装、Clip-Higher等4技術による訓練安定化