@2026__30papers__Scaling Laws for Neural Language Models

# Scaling Laws for Neural Language Models > [!abstract] 概要 > [[Jared Kaplan]]、Sam McCandlishらは、デコーダ専用Transformerのクロスエントロピー損失を、非埋め込みパラメータ数$N$、データ量$D$、訓練計算量$C$の関数として実証的に調べた。各資源が他の資源による制約を受けない範囲では、損失が単純なべき乗則に従って滑らかに低下する。モデル形状への依存は弱く、大規模モデルほどサンプル効率が高いという結果から、固定計算量では大きなモデルを収束前に停止する戦略を導いた。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) ## ソース情報 - **掲載元**: [30papers](https://30papers.com/papers/scaling-laws) - **原論文**: [arXiv:2001.08361](https://arxiv.org/abs/2001.08361) - **著者**: [[Jared Kaplan]]、Sam McCandlish、Tom Henighan、Tom B. Brown、Benjamin Chess、Rewon Child、Scott Gray、Alec Radford、Jeffrey Wu、Dario Amodei - **所属**: Johns Hopkins University、[[OpenAI]] - **初回公開**: 2020-01-23 30papersは本論文を「モデルサイズ、データ、計算量の増加に対して言語モデルの損失が滑らかなべき乗則で下がることを測定し、モデル大規模化の経験的根拠を与えた研究」と紹介する。掲載ページは原論文全文へ、スケーリング則、テスト損失、計算量、パラメータ、過学習、計算効率最適訓練など8語の初心者向け解説を重ねている。本ノートでは30papers掲載本文をarXiv原本と照合した。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) ## 三つの基本スケーリング則モデル性能を次トークン予測のクロスエントロピー損失で測る。モデルサイズは語彙・位置埋め込みを除くパラメータ数$N$、データ量はトークン数$D$、計算量は非埋め込み演算の推定値$C\approx6NBS$で表す。$B$はバッチサイズ、$S$はパラメータ更新回数である。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) 他の二資源がボトルネックにならない条件では、次の関係が得られた。 $ L(N)=\left(\frac{N_c}{N}\right)^{0.076},\qquad L(D)=\left(\frac{D_c}{D}\right)^{0.095},\qquad L(C_{\min})=\left(\frac{C_c^{\min}}{C_{\min}}\right)^{0.050} $ $C_{\min}$は臨界バッチサイズを補正した最小計算量である。この関係は$C_{\min}$で8桁、$N$で6桁、$D$で2桁超にわたる。損失の指数は小さいため規模拡大には収穫逓減があり、例えばパラメータ数を2倍にしても損失低下は約5%である。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) ![[_attachments/30papers-scaling-laws/fig01-core-power-laws.png]] 図1は計算量、データ量、非埋め込みパラメータ数の各軸で、対数スケール上の損失がほぼ直線になることを示す。ただし一つの資源だけを増やし、他を固定した場合はボトルネックに達して改善が止まる。(Source: [30papers掲載本文](https://30papers.com/papers/scaling-laws)) ## 実験範囲とモデル形状実験は非埋め込みパラメータ768から15億、データ量2,200万から230億トークンまでを含む。主データのWebText2は2,030万文書、96GB、229億BPEトークンで、6.6億トークンをテスト用に確保した。主に文脈長1,024のデコーダ専用Transformerを使い、LSTMとUniversal Transformerも比較した。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) 非埋め込みパラメータ数を固定すると、深さ、幅、注意ヘッド数、フィードフォワード層の比率を変えても損失差は数%にとどまった。幅と深さの比を約40倍変えても差は約3%である。一方、埋め込みパラメータを含めた総数を使うと深さ依存に見えるため、何を「モデルサイズ」と数えるかが則の見え方を左右する。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) WebText2だけで訓練したモデルをBooks Corpus、Common Crawl、英語Wikipedia、Internet Booksで評価すると、損失はモデルサイズとともにほぼ同じ指数で改善した。分布外損失にはデータ集合固有のほぼ一定の差が加わるが、訓練分布上の性能との対応は保たれた。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) ## 過学習とサンプル効率モデルとデータを同時に変えたときの早期停止後の損失は、次式で近似される。 $ L(N,D)=\left[\left(\frac{N_c}{N}\right)^{\alpha_N/\alpha_D}+\frac{D_c}{D}\right]^{\alpha_D} $ 過学習ペナルティは主に$N^{0.74}/D$に依存する。実測範囲ではモデルを8倍にしたとき、データを約5倍に増やせば過学習の増加を避けられた。ただしデータが最小の条件では1エポックが40更新にしかならず、この式の適合は悪かった。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) 大規模モデルは、同じ損失に達するまでの更新回数と使用例数が小規模モデルより少ない。臨界バッチサイズ$B_{\mathrm{crit}}$はモデルサイズそのものではなく到達損失に依存し、損失が13%低下するごとにおよそ2倍になった。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) ## 計算量の最適配分論文が推定した固定計算量下の最適配分は次のとおりである。 $ N_{\mathrm{opt}}\propto C_{\min}^{0.73},\quad B\propto C_{\min}^{0.24},\quad S_{\min}\propto C_{\min}^{0.03},\quad D_{\mathrm{opt}}\propto C_{\min}^{0.27} $ 計算量の増分の大半をモデルサイズへ、残りを主にバッチサイズへ配分し、逐次更新回数はほぼ増やさない。付録の比較では、収束損失の2%以内まで小規模モデルを訓練する方法に対し、計算効率最適訓練は2.7倍大きいモデルを使い、更新回数を7.7分の1、同じ損失へ達する計算量を65%削減すると推定した。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) ![[_attachments/30papers-scaling-laws/fig02-compute-allocation.png]] 図3は計算量を10億倍に増やす思考実験で、モデルサイズが100万倍超、バッチサイズが100倍超、逐次更新回数が10倍未満となる配分を示す。これは実測範囲からの外挿を含む指針であり、普遍的な処方箋ではない。(Source: [30papers掲載本文](https://30papers.com/papers/scaling-laws)) ![[_attachments/30papers-scaling-laws/fig03-adjusted-compute-law.png]] 図13は固定バッチでの経験則$L(C)$と、臨界バッチサイズを補正した$L(C_{\min})$を区別する。計算効率の議論には後者を使う必要があり、計算量の定義とバッチ補正が指数推定へ直接影響する。(Source: [30papers掲載本文](https://30papers.com/papers/scaling-laws)) ## 外挿の内部矛盾論文は、計算効率最適なデータ使用量$D(C_{\min})$が$C_{\min}^{0.26}$でしか増えない一方、過学習を抑えるための必要量が$C_{\min}^{0.54}$で増えると導く。この二つを遠距離外挿すると、計算量則が予測する損失がデータ量則で可能な下限を下回る。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) ![[_attachments/30papers-scaling-laws/fig04-extrapolation-contradiction.png]] 交点は$C^*\approx10^4$ PF-days、$N^*\approx10^{12}$パラメータ、$D^*\approx10^{12}$トークン、$L^*\approx1.7$ nats/tokenと推定された。著者は、則がこの地点以前に破綻しなければならないと明記し、交点は指数の微小な違いで約1桁動くと警告する。スケーリング則は無限に成立する自然法則ではなく、測定条件と有効範囲を伴う経験式である。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) > [!contradiction] 計算最適なモデル・データ配分 > 本論文は$N_{\mathrm{opt}}\propto C^{0.73}$、$D_{\mathrm{opt}}\propto C^{0.27}$というモデル偏重配分を推定する。一方、Chinchilla論文は$N_{\mathrm{opt}}\propto C^{0.49}$、$D_{\mathrm{opt}}\propto C^{0.51}$というほぼ均等な配分を推定した。この差は後続研究による実質的な反証であり、[[@2022__arXiv__Training Compute-Optimal Large Language Models]]および[[スケーリング則]]で追跡する。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]], [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) ## 限界 - べき乗則の理論的導出がなく、どの訓練条件で成立するかを判定する体系がない。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) - 臨界バッチサイズの測定範囲外への外挿が、データ並列化と逐次更新回数の配分へ大きく影響する。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) - 小規模データ条件、正則化、データ拡張、学習率などを網羅的に最適化していない。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) - $C\approx6NBS$は文脈長に依存する演算を除外するため、長文脈領域では計算量の近似が崩れる。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) - 滑らかな損失改善が推論・コーディングなどの有用な能力へどう対応するかは実証していない。(Source: [[.raw/articles/30papers-scaling-laws-2026-07-28]]) ## 関連 - 同一論文の既存ノート: [[@2020__arXiv__Scaling Laws for Neural Language Models]] - 概念: [[スケーリング則]]、[[LLMスケーリング則]]、[[計算最適訓練]]、[[言語モデル事前学習]] - 著者・組織: [[Jared Kaplan]]、[[OpenAI]] - 後続研究: [[@2022__arXiv__Training Compute-Optimal Large Language Models]] ## 出典 - [[.raw/articles/30papers-scaling-laws-2026-07-28]] - [30papers: Scaling Laws for Neural Language Models](https://30papers.com/papers/scaling-laws) - [arXiv:2001.08361](https://arxiv.org/abs/2001.08361) - [Chinchilla comparison: arXiv:2203.15556](https://arxiv.org/abs/2203.15556)