# 検証可能報酬による強化学習 Navigation: [[index]] | [[concepts/_index|concepts]] ## 定義 検証可能報酬による強化学習(RLVR: Reinforcement Learning with Verifiable Reward)は、ポリシー(LLM)の出力に対して**客観的に検証可能な離散・連続報酬**(完全一致、IoU、MAE、フォーマット準拠など)を与え、人間フィードバックなしに後訓練を行う枠組みだ。DeepSeek-R1 のチェーン・オブ・ソート訓練で広く知られ、コード・数学・視覚推論・映像理解・時系列推論へと適用範囲が急速に拡大している (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。Group Relative Policy Optimization (GRPO) が代表的な最適化アルゴリズムで、複数ロールアウトに対する報酬の相対順位からアドバンテージを推定する。 ## 横断的知見 - **報酬関数の構成は二段階(タスク報酬 + フォーマット報酬)が事実上の標準**。Time-R1 は `r = rtIoU + rform` の和で `<think></think><answer></answer>` スキーマ準拠を強制した。TimeOmni-1 も R_format に加えて離散タスク用 R_discrete ∈ {0,1}(完全一致)と予測タスク用 R_count(系列長ボーナス + MAE 正規化指数減衰)を組み合わせる。フォーマット報酬を分離する設計はクロスドメインで共通の知恵 (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。 - **SFT より圧倒的に少ないデータで上回る**。Time-R1 は 2.5K サンプルで 339K サンプル(136 倍)の SFT-LoRA を超え、TimeOmni-1 は 1K 以下のシード CoT + RL で GPT-4.1 を因果発見精度 40.6%(ID)・28.1%(OOD)上回る。データ効率が RLVR の最も再現性のある利点 (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。 - **コールドスタート CoT で RL の探索空間を絞り込む**。Time-R1 と TimeOmni-1 はともに、少数の CoT フォーマット例で推論の型を定着させてから RL 本訓練に移行する二段階戦略を採用する。TimeOmni-1 は Stage 1 を飛ばすと RL が逆効果(因果発見 −5.3%)になることを明示的にアブレーションで示した。RLVR は事前注入されたプライアの精錬器であり、ゼロからの誘導器ではない (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。 - **SFT の「偽陰性過剰ペナルティ」を回避できることが RLVR の理論的優位**。Time-R1 は予測 [1.9s, 3.9s] に対し正解 [2s, 4s] でも自己回帰損失が高くなる SFT の構造的問題を指摘し、IoU を直接最適化することで緩和できると主張する。これは離散一致を求めない連続値タスク(時間区間・座標・量的予測)で特に効く知見 (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]])。 - **GRPO の汎用性**。Time-R1(映像言語)と TimeOmni-1(時系列)で同じ GRPO ベースの最適化が機能する。アルゴリズムレベルではドメイン非依存で、報酬関数の設計次第で新規ドメインに展開しやすい。 - **汎用推論能力への副作用は限定的または正方向**。TimeOmni-1 では時系列特化後も DROP・GPQA・ReClor で +16.5% の改善を示し、Time-R1 では映像 QA(VideoMME: 53.0→54.2)が改善した。RLVR による特化が破滅的忘却を起こさない事例が複数積み上がっている (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]], [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]])。 - **GRPOベースのRLVRを、事前学習からの結合スケーリング則という観点で定量分析した例が現れた**。[[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]] はチェスパズルという検証可能報酬ドメイン(合法手・チェックメイトの成否で機械的に判定可能)でGRPOを適用し、事前学習の損失・トークン数からRL報酬曲線の切片・傾きを予測する結合スケーリング則を導出した。Time-R1・TimeOmni-1 が「報酬関数の設計」「コールドスタートCoT」という訓練レシピの観点から RLVR を論じるのに対し、この論文は「RLVRの効果は事前学習にどれだけ依存するか」というスケーリング則の観点を提供し、両者は相補的な視点を成す。(Source: [[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]]) - **RLによるポリシー変化を「正解の増幅」「テールの発見」「誤ったモードの増幅」の3categoryに分類**。同論文は難易度ビン別の分析で、RLVRが単に正答率を上げるだけでなく、事前学習時点で低確率だった正解を掘り起こす(tail discovery)場合と、誤った手を誤って強化してしまう(wrong-mode amplification)場合があることを定量的に示した。これは下記「報酬ハッキングの検出と防止」という未解決の問いに対し、失敗モードを類型化する分析軸を提供する。(Source: [[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]]) - **数学ドメインでは「答えの形式を書き換えて検証可能性を確保する」という前処理自体が実務上の主要課題になる**。DAPO([[@2025__arXiv__DAPO - An Open-Source LLM Reinforcement Learning System at Scale]])は数式・分数・根号を含む多様な形式の数学解答を、ルールベース報酬でパースできる整数解へ LLM 自身に書き換えさせるデータ変換(DAPO-Math-17K)を提案した。R(ŷ,y) = 1 if is_equivalent(ŷ,y) else −1 という単純な二値報酬(式 7)を採用し、報酬モデルに起因する報酬ハッキング(Source: [[報酬ハッキング]])を明示的に回避している。TimeOmni-1・Time-R1 が「連続値タスクへの報酬関数設計」を課題とするのに対し、DAPO は「離散検証可能性そのものをデータ変換で作り出す」という別解を示した点で対照的。 - **RLVR のスケーリングは訓練安定性の問題と表裏一体である**。DAPO は naive GRPO による RLVR 適用が Qwen2.5-32B で AIME 30 点に留まり、[[エントロピー崩壊]]・報酬ノイズ・勾配消失という 3 つの訓練不安定性が原因であることを特定した。Clip-Higher・Dynamic Sampling・Token-Level Loss・Overlong Reward Shaping という 4 技術を追加して初めて 50 点(DeepSeek-R1-Zero-Qwen-32B の 47 点を上回る)に到達しており、RLVR の「検証可能な報酬さえあれば学習できる」という単純化は大規模化の実践では成立せず、最適化アルゴリズム側の工夫が不可欠であることを定量的に示した(Source: [[@2025__arXiv__DAPO - An Open-Source LLM Reinforcement Learning System at Scale]])。 ## 未解決の問い - 連続値タスク向けの報酬関数(指数減衰・IoU・距離ベース)の設計空間はどこまで広げられるか。TimeOmni-1 の R_count(系列長ボーナス + MAE)は予測向け一例にすぎない。 - コールドスタート CoT の最低必要量はどこか。Time-R1 と TimeOmni-1 はともに少数で済むと報告するが、量的閾値(何件が最低限有効か)とドメイン依存性は未解明。 - GRPO 以外の最適化アルゴリズム(PPO・DPO・REINFORCE 等)との比較は時系列・映像ドメインで網羅的でない。 - RLVR のスケーリング則は LLM 事前学習のスケーリング則と同じ形を取るか。報酬の希薄性とエピソード長の関係は未整理。 - 「検証可能」とみなせる報酬の境界はどこか。曖昧な答えを許容するタスク(自然言語生成、要約品質)に RLVR をどう拡張するか。 - 報酬ハッキング(フォーマット報酬だけ最大化して答えを放棄する病理)の検出と防止の体系はまだない。[[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]] の wrong-mode amplification 類型は関連する現象の一端だが、体系的な検出・防止手法はまだ提示されていない。 - **訓練データを 1 問に絞っても全データと遜色ない性能に到達できるか**: Wang+ NeurIPS 2025 は MATH500 で 36.0% → 73.6%（全データ ≒ 73%）を 1 問 RLVR で達成したと報告する。「どれだけ多様な問題を見せるか」というスケーリング軸への反証的知見であり、少データ設定でのエントロピー正則化の役割が重要になる (Source: [[joisino-訓練データ1個推論性能倍-2025]])。 ## 関連 - 上位概念: [[エージェント型強化学習]]・[[強化ファインチューニング]]・[[強化学習スケーリング]] - 接続: [[時系列推論]](TimeOmni-1 で RLVR が時系列ドメインに適用された)・[[時間的映像グラウンディング]](Time-R1)・[[テスト時計算スケーリング]](RLVR は推論時ではなく後訓練時のスケーリング)・[[文脈内学習]](コールドスタート CoT が前提)・[[1サンプルRLVR]](訓練データを 1 問に絞った極端な少データ設定) - 関連 entity: [[DeepSeek-R1]](RLVR を広く知らしめた原型)・[[NVIDIA]](TimeOmni-1 の Academic Grant)・[[GRPO]](DAPO が拡張した最適化アルゴリズム) - MOC: [[structures/000 Index]] ## 出典 - [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]] — TVG への GRPO 適用、tIoU 報酬、2.5K サンプルで SFT-LoRA(339K)を超える - [[@2026__ICLR2026__TimeOmni-1 - Incentivizing Complex Reasoning with Time Series in Large Language Models]] — 時系列推論への GRPO 適用、SFT + RL 二段階、報酬関数(R_format + R_discrete + R_count) - [[joisino-訓練データ1個推論性能倍-2025]] — Wang+ NeurIPS 2025 の解説。1 問 RLVR でも全データと同等性能に到達。エントロピー正則化と内省語習得のメカニズムを詳述。 - [[@2026__arXiv__Understanding Reasoning from Pretraining to Post-Training]] — チェスパズルドメインでのGRPO適用、事前学習-RL結合スケーリング則、ポリシー変化の3category分類 - [[@2025__arXiv__DAPO - An Open-Source LLM Reinforcement Learning System at Scale]] — 数学ドメインでの規則ベース報酬とデータ変換によるRLVR実装、Clip-Higher等4技術による訓練安定化