# RL重み差分配信 Navigation: [[concepts/_index]] | [[index]] ## 定義 RL 重み差分配信は、LLM の RL(強化学習)訓練において、訓練を担う trainer とポリシーからの軌跡サンプリングを担うロールアウトフリートを地理的・物理的に分離しつつ、両者間のポリシー同期を「毎回チェックポイント全体を転送する」のではなく「連続する 2 つのチェックポイント間の差分のみを圧縮して配信する」ことで実現するアーキテクチャパターンである。[[@2026__Fireworks AI__Frontier RL Is Cheaper Than You Think]] は、bf16 形式のチェックポイントで隣接するステップ間の重みの **98% 超がビット等価のまま変化しない**という実測に基づき、1TB 級チェックポイントの平均差分がわずか 20.3 GiB(1.98%)にとどまることを報告する(Source: [[@2026__Fireworks AI__Frontier RL Is Cheaper Than You Think]])。 ## 横断的知見 - **同一パターンが独立に複数の産業実装で採用されている**: [[@2026__arXiv__Composer 2 Technical Report]] は [[Cursor]] の Composer 2 訓練において S3 経由の差分圧縮重み同期でワールドスケール分散 RL 推論を実現し、[[@2026__Cognition__SWE-1.7 - Frontier Intelligence at a Fraction of the Cost]] は 3 大陸 4 データセンターにまたがる非同期 RL 訓練で K 勾配ステップごとの圧縮重み差分をクラウドオブジェクトストレージへ書き込み各クラスタの weight controller がプルする設計を採る(1T パラメータモデルの大陸間更新を 1〜2 分に短縮)。[[@2026__Fireworks AI__Frontier RL Is Cheaper Than You Think]] は、これらの個別事例に共通するメカニズムを一般化し、98% 超のスパース性という定量的根拠を初めて明示した点で、個別実装の背後にある共通原理を裏付ける一次資料に当たる。(Source: [[@2026__Fireworks AI__Frontier RL Is Cheaper Than You Think]], [[@2026__Cognition__SWE-1.7 - Frontier Intelligence at a Fraction of the Cost]], [[@2026__arXiv__Composer 2 Technical Report]]) - **「単一真実源+非同期プル」という配信パターンが、耐障害設計とコスト最適化の両方の動機から独立に到達される**: [[耐障害LLM訓練]] の横断的知見が指摘するとおり、SWE-1.7 の圧縮重み差分配信はチェックポイント配布問題への「単一真実源」パターンの応用として耐障害性の文脈で生まれた。一方 Fireworks AI の記事は同じパターンを純粋にコスト・帯域効率の観点から導出しており、耐障害性を主目的にしていない。異なる動機(障害からの独立性 vs 帯域コスト削減)が同一のアーキテクチャ解に収束している点が注目される。(Source: [[@2026__Fireworks AI__Frontier RL Is Cheaper Than You Think]], [[耐障害LLM訓練]]) ## 未解決の問い - 98%(Fireworks 本文)と約 99%(引用論文)という近い値が独立に報告されているが、測定条件(モデル規模・訓練ステップ間隔・オプティマイザ)がどこまで揃っているかは不明で、スパース性が訓練設定にどれだけ敏感かは未検証。 - チェックポイント生成頻度が差分配信パイプラインの配信能力を超える場合にこのパターンが破綻すると Fireworks AI 自身が認めているが、具体的な閾値(頻度・帯域・モデルサイズの関係式)は示されていない。 - モデルが単一ノードに収まる小〜中規模 RL では帯域幅がボトルネックにならずこのパターンの利得が薄いとされるが、どの規模から差分配信が正味の効果を持ち始めるかの定量的な境界は未確立。 - [[AReaL]] のような既存の非同期 RL システムとの詳細な比較(差分配信の有無・実装方式の違い)は記事内で深掘りされておらず、名称の言及にとどまる。 ## 関連 - ソース: [[@2026__Fireworks AI__Frontier RL Is Cheaper Than You Think]] / [[@2026__Cognition__SWE-1.7 - Frontier Intelligence at a Fraction of the Cost]] / [[@2026__arXiv__Composer 2 Technical Report]] - 概念: [[耐障害LLM訓練]](圧縮重み差分配信を耐障害性の文脈で先行して記述) / [[強化学習スケーリング]] - エンティティ: [[Fireworks AI]] / [[AReaL]] / [[Cursor]] / [[Cognition]] / [[NVIDIA Dynamo]] ## 出典 - [[@2026__Fireworks AI__Frontier RL Is Cheaper Than You Think]](bf16 重みスパース性 98% 超・20.3 GiB 平均差分・50 ステップ窓で転送量 94% 削減) - [[@2026__Cognition__SWE-1.7 - Frontier Intelligence at a Fraction of the Cost]](3 大陸マルチクラスタ・圧縮重み差分のオブジェクトストレージ配信) - [[@2026__arXiv__Composer 2 Technical Report]] §6.2(S3 経由の差分圧縮重み同期)