# エントロピー崩壊 Navigation: [[index]] | [[concepts/_index|concepts]] ## 定義 エントロピー崩壊(entropy collapse)は、長期の強化学習(RL)訓練において、強力なモデルが探索を止めて出力分布を極端に尖らせ、報酬が数百ステップ以内で頭打ちになる現象だ。[[SWE-1.7]] のブログ記事は、非同期 RL 訓練で最も問題になる現象の一つとして位置づけ、softmax の勾配構造に根差すメカニズムを定量的に説明している(Source: [[@2026__Cognition__SWE-1.7 - Frontier Intelligence at a Fraction of the Cost]])。 ## メカニズム 低確率トークンは、軌跡が分布外・想定外の経路に外れた際に出現しやすく、そうした軌跡はしばしば低報酬につながる。3 トークンの簡略モデル(ロジット $x_1 > x_2 \gg x_3$)で、低確率トークン $x_3$ をサンプルして低報酬($\hat{A} < 0$)を得た場合の勾配は次の形を取る。 $ \Delta x_1 \propto |\hat{A}|\, p_1,\quad \Delta x_2 \propto |\hat{A}|\, p_2,\quad \Delta x_3 \propto -|\hat{A}|\, (p_1+p_2) $ この更新は $x_3$ を罰する一方、既に優勢な $x_1$ を $x_2$ より強く伸ばす。つまり低確率トークンのサンプリングは、支配的トークンの優位をさらに拡大し分布を尖らせる方向に自己強化的に働く。これがエントロピー崩壊の駆動メカニズムだ(Source: [[@2026__Cognition__SWE-1.7 - Frontier Intelligence at a Fraction of the Cost]])。 ## 横断的知見 - **top-p サンプリングによる予防が SWE-1.7 の核心的対策**。低確率トークンをそもそもサンプリング候補から除外する top-p サンプリングは、上記の自己強化ループの起点を断つことでエントロピー崩壊を防ぐ。SWE-1.7 の訓練ではポリシーエントロピーがほぼ一定に保たれ、ベースラインが着実に減衰するのと対照的な挙動を示した(Source: [[@2026__Cognition__SWE-1.7 - Frontier Intelligence at a Fraction of the Cost]])。 - **naive な top-p 適用は訓練・推論間の乖離を悪化させるトレードオフを持つ**。trainer は全トークンから確率を計算するのに対し rollout は top-p 部分集合からのみサンプリングするため、素朴な実装は分布の乖離を拡大し数ステップで崩壊する。SWE-1.7 はロールアウト時の keep-set を記録し trainer 側でマスクを用いて確率を再正規化する「サンプリング分布リプレイ」でこれを解決した。エントロピー保全策と訓練・推論間の分布整合は、単独では成立せずセットで扱う必要がある技術的知見だ(Source: [[@2026__Cognition__SWE-1.7 - Frontier Intelligence at a Fraction of the Cost]])。 - **先行研究との接続**。Cui+ 2025("The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models", arXiv:2505.22617)・DAPO(Yu+ 2025, arXiv:2503.14476)がエントロピー崩壊の一般的な問題提起と対策を先行して論じており、SWE-1.7 はこれらを大規模非同期 RL の実運用スケールに適用・拡張した位置づけにある。 - **DAPO は PPO/GRPO の対称クリッピングそのものに崩壊の原因を特定した**。SWE-1.7 が top-p サンプリングという生成時の対策を取るのに対し、DAPO([[@2025__arXiv__DAPO - An Open-Source LLM Reinforcement Learning System at Scale]])はクリッピング機構(訓練時の最適化)に原因を求める、異なる層の診断を行った。ε=0.2 のとき確率 0.01 の低確率(探索)トークンは上限 0.012 までしか増加できないのに対し、確率 0.9 の高確率(活用)トークンは上限 1.08(実質 1.0 で飽和)まで増加できるという非対称性を指摘し、実際にクリップ上限に張り付くトークンの平均確率が 0.2 未満であることを実測した。対策(Clip-Higher)は下限 ε_low と上限 ε_high を分離し ε_high のみを引き上げるという単純な修正であり、適用後はエントロピーが緩やかな上昇を続け AIME 精度も継続的に伸びた。「生成時の候補集合を絞る(SWE-1.7)」と「最適化のクリップ範囲を非対称にする(DAPO)」という、エントロピー崩壊への 2 つの独立した介入点が存在することを示す一対の知見。 - **エントロピー崩壊とサンプル効率低下は同時多発する併存問題である**。DAPO は同一の naive GRPO ベースライン(Qwen2.5-32B, AIME 30 点)から、エントロピー崩壊(Clip-Higher で対処)と、accuracy=0/1 プロンプト増加による勾配消失(Dynamic Sampling で対処)という異なる 2 つの障害を切り分けて報告した。両者は独立した技術で個別に緩和可能だが、Table 1 のアブレーションでは全技術を組み合わせて初めて 30→50 点まで到達しており、単一の対策だけでは大規模 RL 訓練の安定化に不十分であることを示唆する(Source: [[@2025__arXiv__DAPO - An Open-Source LLM Reinforcement Learning System at Scale]])。 ## 未解決の問い - top-p しきい値の最適値はモデルサイズ・タスクドメインに応じてどう変化するか。SWE-1.7 の記事は具体的なしきい値を公開していない。DAPO の ε_low=0.2 / ε_high=0.28 も Qwen2.5-32B・数学タスクという単一設定でのみ検証されており、他モデル・他タスクへの汎化は未検証。 - サンプリング分布リプレイのオーバーヘッド(keep-set の記録・伝送コスト)は、マルチクラスタ訓練の重み配信コスト([[耐障害LLM訓練]]参照)とどうトレードオフするか。 - エントロピー崩壊とモード崩壊(mode collapse、多様性喪失)の関係は理論的に整理されているか。SWE-1.7 の記事はエントロピー(不確実性の量)のみを議論し、出力の多様性そのものは直接測定していない。 - Clip-Higher(最適化層の対策)と top-p サンプリング(生成層の対策)を併用した場合、効果は相加的か、それとも一方が他方を代替するのか。両論文とも単独の効果しか報告しておらず、組み合わせた実験は未見。