スケーリング則 - yuuk1's Digital Garden

# スケーリング則 ## 定義スケーリング則（Scaling Laws）とは、ニューラル言語モデルの性能がモデルパラメータ数 $N$、データセット量 $D$、訓練計算量 $C$ の増加に対して**べき乗則**（power-law）に従って予測可能に改善するという経験的法則である。Kaplan et al. (2020) がクロスエントロピー損失 $L$ について $L(X) \propto X^{-\alpha}$ という形式でこの関係を実証した。 $L(N) \propto N^{-0.076}, \quad L(D) \propto D^{-0.095}, \quad L(C_{\min}) \propto C_{\min}^{-0.050}$ この法則は 7 桁以上のスケール範囲にわたって成立し、アーキテクチャの詳細（depth/width 比、注意ヘッド数）にはほぼ依存しない。(Source: [[@2020__arXiv__Scaling Laws for Neural Language Models]]) ## 背景と提案 [[Jared Kaplan]]・Sam McCandlish ほか [[OpenAI]] が 2020 年に発表した論文 [[@2020__arXiv__Scaling Laws for Neural Language Models]] が起点。768 パラメータから 15 億パラメータまでの decoder-only Transformer を WebText2 データセットで訓練し、各スケール変数ごとのべき乗則指数を実測した。計算バジェット $C_{\min}$ を固定したとき、最適なリソース配分は次式で与えられる。 $N_{\text{opt}} \propto C_{\min}^{0.73}, \quad D_{\text{opt}} \propto C_{\min}^{0.27}$ これは「計算の増加分のほとんどをモデルサイズの拡大に充てるべき」を意味し、訓練ステップ数の増加は $S_{\min} \propto C_{\min}^{0.03}$ とほぼ不要である。大きなモデルを早期停止で訓練する戦略がこの直接的な帰結。(Source: [[@2020__arXiv__Scaling Laws for Neural Language Models]]) ## 主要な発見の要約 | 発見 | 内容 | |---|---| | べき乗則の普遍性 | $N$、$D$、$C$ の各軸で独立にべき乗則が成立、7 桁以上 | | アーキテクチャ独立性 | 深さ・幅・ヘッド数には弱依存（loss 差は数%） | | 過学習の普遍性 | ペナルティは $N^{0.74}/D$ に依存。モデル 8 倍ならデータ 5 倍で回避 | | 訓練カーブの普遍性 | パラメータ数によらず同形の訓練曲線（初期から収束を外挿可能） | | 最適配分 | $N_{\text{opt}} \propto C^{0.73}$、大きいモデルを早期停止が最適 | | サンプル効率 | 大きいモデルほどサンプル効率が高い（同損失に必要なデータが少ない） | (Source: [[@2020__arXiv__Scaling Laws for Neural Language Models]]) ## 横断的知見 - **TSFM で初めてスケーリング則が確立——Toto 2.0(2026)が「TSFM の GPT-2 モーメント」を宣言**: 言語モデルでは 2020 年に Kaplan et al. がべき乗則を示したが、TSFM ではモデルサイズを大きくしても一貫した改善が見られないことが長年の課題だった。[[Toto]] 2.0([[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]])は 4M〜2.5B の 5 サイズで単調かつ信頼できる性能改善を実証し、「単一のレシピを適用するだけで全サイズが前のサイズを上回る」ことを示した。著者らは Toto 1.0 とその同世代が TSFM の「BERT モーメント」なら Toto 2.0 は「GPT-2 モーメント」——スケーリングが研究課題でなくツールになった——と位置づける。ただし Toto 2.0 は BOOM/GIFT-Eval/TIME の CRPS rank で評価しており、冪指数の厳密な推定は行っていない。(Source: [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) - **Kaplan vs. Chinchilla のモデル/データ配分論争**: Kaplan et al. (2020) は $N_{\text{opt}} \propto C^{0.73}$ とモデル偏重を主張したが、Hoffmann et al. (2022, Chinchilla) は $N_{\text{opt}} \propto C^{0.49}$、$D_{\text{opt}} \propto C^{0.51}$ と均等配分を主張して不一致が生じた。30papers掲載本文を再確認すると、Kaplan et al. 自身も計算量則とデータ量則が$C^*\approx10^4$ PF-days付近で矛盾し、指数に敏感な遠距離外挿はそれ以前に破綻すると明記している。Chinchillaの修正は、自然言語の不可避な損失下限だけでなく、訓練設定と適合方法が計算最適フロンティアを実測範囲内でも変え得ることを示す。DeepSeek LLM (2024) はデータ品質の違いが配分差を部分的に説明すると分析している。(Source: [[@2026__30papers__Scaling Laws for Neural Language Models]], [[@2022__arXiv__Training Compute-Optimal Large Language Models]], [[LLMスケーリング則]]) > [!contradiction] 計算最適なモデル・データ配分 > Kaplan et al. のモデル偏重配分$N_{\mathrm{opt}}\propto C^{0.73}$、$D_{\mathrm{opt}}\propto C^{0.27}$と、Chinchillaのほぼ均等な配分$N_{\mathrm{opt}}\propto C^{0.49}$、$D_{\mathrm{opt}}\propto C^{0.51}$は両立しない。本ページでは後者を黙って上書きせず、訓練レシピ、データ品質、適合方法に依存する経験的な不一致として保持する。(Source: [[@2026__30papers__Scaling Laws for Neural Language Models]], [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) - **Chinchilla が実証した「均等スケーリング」原則**: [[Jordan Hoffmann|Hoffmann et al. (2022)]] は 400 超のモデルを訓練する実験で、3 つの独立した方法論（訓練曲線エンベロープ・IsoFLOP プロファイル・パラメトリックフィット）がいずれも $a \approx b \approx 0.50$ という指数を支持することを示した。検証モデル Chinchilla (70B, 1.4T トークン) は同一計算量で訓練した Gopher (280B, 300B トークン) を MMLU・BIG-bench・読解・常識推論のすべてで上回り、「計算予算が固定されたとき、より小さいモデルをより多くのデータで訓練する方が優れた性能を達成できる」という命題を直接実証した。さらにモデルサイズが Gopher の 1/4 であることで推論コストと必要メモリも大幅に削減される実用上の優位性も確認された。(Source: [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) - **アーキテクチャ独立性がモデル設計の優先順位を変えた**: depth/width 比やアテンションヘッド数のような詳細なアーキテクチャ選択は損失差が数%にとどまるのに対し、総パラメータ数の増加は滑らかな改善をもたらす。これは「アーキテクチャ最適化より規模優先」という設計指針の根拠となり、GPT-3 以降の大規模言語モデル開発の方向性を決定づけた。(Source: [[@2020__arXiv__Scaling Laws for Neural Language Models]]) - **訓練損失と下流タスク性能の橋渡し**: 本論文はクロスエントロピー損失のスケーリングを実証したが、下流タスク性能もモデル規模に対してほぼ単調に改善する（他の分布でも損失は同様の冪指数でスケール）。GPT-3 ([[@2020__NeurIPS__Language Models are Few-Shot Learners]])で文脈内学習性能がモデル規模に対して滑らかにスケールすることが確認され、損失スケーリングと能力スケーリングの一貫性を支持する。ただし定量的な対応関係は引き続き未解明な部分が多い。 - **フロンティアでのスケーリング失敗事例**: 2023 年の GPT-4 でスケーリング則が実証された後、[[Microsoft]] の超大規模クラスタで訓練されたモデルがトークン単価 GPT-4o 比 15 倍・推論に 120 GPU 必要で経済破綻し、2025-04 に非推奨化されたという観察がある（[[Glenn K. Lockwood]] による外部ブログ記事、信頼度 medium）。これは「フロンティア以前の経験則がフロンティアでも成立するか」という問いを提起する。(Source: [[LLMスケーリング則]]) - **Kaplan et al. (2020) 以前から、実務家はべき乗則の定式化なしに「規模の経験的成長」を観察していた**: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]の「数字で見るディープラーニングの今」(図1.A)は、学習データ量(RNNベース言語モデルの100万単語からGPT-3の5000億トークンへ)、モデルサイズ(DALL-Eの120億パラメータ、Switch Transformerの1.6兆パラメータ)、学習時間、層数、処理基盤(GPU数)という5軸で2011〜2021年の代表モデルを並べ、規模が拡大し続けてきたことを数字で示す。これはKaplan et al. (2020)が定式化した「損失が$N$・$D$・$C$のべき乗則に従う」という定量的法則そのものではなく、実務家・解説者が観測した経験的な規模拡大トレンドの記述にとどまる。定量的なべき指数を伴わない前者と、指数を実測した後者の関係は、スケーリング則が「発見」される以前から業界内で規模拡大が既定路線として認識されていたことを示唆する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]] §1.5補足, [[@2020__arXiv__Scaling Laws for Neural Language Models]]) - **教科書『原論文から解き明かす生成AI』第7章は、Kaplan et al. (2020) の臨界バッチサイズ補正を経由するべき乗則導出を数式レベルで再構成し、事前学習と推論時スケーリングを一本の筋で並べる**: 同書は損失を固定したときの臨界バッチサイズ $B_{crit}(L)\propto L^{-1/\alpha_B}$(式7.1〜7.3)を用いて、固定バッチサイズで得た $L(C)$ を最適化された $L(C_{min})$ に読み替える手続き(「まず固定バッチサイズの実験によって $(L,C,S)$ が得られる」→「臨界バッチサイズ $B_{crit}$ が求まる」→「$C_{min}$ を求める」という3段階)を明示的に導出している。既存 source ページの §5 Scaling Laws with Model Size and Training Time の要約は結果の $N_{opt}\propto C_{min}^{0.73}$ を引用するにとどまり、この読み替え手続き自体の再現は行っていない。教科書はさらに Chinchilla(Hoffmann et al. 2022)を脚注のみで言及し($N_{opt}$・$D_{opt}$ ともに $C^{0.5}$)、本 concept が保持する Kaplan/Chinchilla の contradiction callout ほど踏み込んだ議論はしていない——一般向け解説書は原論文単体の精読を優先し、複数論文間の矛盾の突き合わせは扱わない傾向がうかがえる。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]], [[@2020__arXiv__Scaling Laws for Neural Language Models]]) - **べき乗則の一般化(Henighan et al. 2020)とテキスト生成モデルのべき乗則(Kaplan et al. 2020)は教科書内で連続する節として読み解かれ、両者の対応が明示的に確認された**: 教科書は7.1.1節でKaplanのべき乗則を導出した直後、7.1.2節でHenighanの4領域(画像・動画・マルチモーダル・数学)のべき乗則 $L(C)=L_\infty+(C_0/C)^{\alpha_C}$ を扱い、図7.7の言語モデル系列がHenighanの実験ではなくGPT-3論文からの引用である点まで踏み込んで指摘している。これは本 concept の「画像・音声・動画など他の生成モデルドメインでもアーキテクチャ独立性とべき乗則指数は同程度に成立するか」という未解決の問いに対し、少なくとも関数形($L_\infty$付きべき乗則)の成立自体は4領域で確認済みという回答を与える一方、指数の値がドメインごとに異なる(画像 $\alpha_C=0.19$、動画 $0.14$、数学 $0.17$)ことも同時に示しており、指数の普遍性そのものは未解決のまま残る。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]], [[@2020__arXiv__Scaling Laws for Autoregressive Generative Modeling]]) - **データ枯渇という第三の制約が、計算資源中心だったスケーリング則の議論に加わった**: 教科書はA100→B200のGPU性能向上(FP16演算性能5.6倍)を示した直後に「Will we run out of data?」の試算(ウェブ上の学習可能テキストデータが2028年ごろに枯渇)を紹介し、計算資源の制約が急速に緩和される一方でデータ量の制約が相対的に強まるという非対称な進展を指摘する。本 concept がこれまで扱ってきたモデル/データ配分論争(Kaplan vs. Chinchilla)は「限られた計算資源をどう配分するか」という問題設定だったのに対し、データ枯渇はその前提(データは実質無限に調達可能)そのものを崩す観察であり、7.2節が推論時スケーリングという「大規模事前学習ではない方向」に転じる動機として教科書内で位置づけられている。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]) - **『ディープラーニングを支える技術〈2〉』第5章は、べき乗則を機械学習固有の現象ではなく、ジップの法則・パレートの法則・地震の規模分布など世の中の多くの現象に共通する一般的なクラスの一事例として位置づけ、Kaplan et al.が発見したのはこの一般的なべき乗則が「学習データ量・計算リソース量・モデルサイズを入力変数、テスト誤差を出力変数として」機械学習にも成り立つという具体的な適用例だったと説明する**。本ページが集約してきた既存の横断的知見(Kaplan/Chinchillaの配分論争、アーキテクチャ独立性、Henighanの4領域一般化)はいずれも機械学習内部での議論にとどまるが、同章はべき乗則という現象クラス自体が物理・社会現象に広く見られることを示し、機械学習のスケーリング則が「なぜそのような形の法則が成り立つのか」という一段階抽象度の高い問いに接続可能であることを示唆する。ただし同章はこの一般化を直観的な類比として提示するにとどまり、ジップの法則等とKaplanのべき乗則指数($\alpha\approx0.076$等)との間に数理的な対応関係があるかは論じていない。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1, [[@2020__arXiv__Scaling Laws for Neural Language Models]]) - **同章はスケーリング則を、Richard SuttonのBitter Lesson(計算性能の向上を活かした汎用手法が長期的にはドメイン知識を埋め込んだ手法に勝るという70年間のAI研究の教訓)を裏づける具体的な経験的証拠として位置づけ、これは本ページが扱う「なぜスケーリングが有効なのか」という問いに歴史的・思想的な文脈を与える**。同章はチェスのDeep Blue・囲碁のAlphaGoの例を挙げつつ、GPT-3のべき乗則発見をこの系譜の延長として説明する一方、Rodney Brooksの反論(画像分類は結局CNNという人手設計に依存、人の脳は20Wで動くのに対しチップは数百W必要、ムーアの法則の終焉)や、Max Wellingの指摘(データが十分でない場合・外挿が必要な場合は計算性能でなくデータ取得がボトルネックになる)も併記し、著者自身はBitter Lessonを支持しつつ計算性能向上だけでなく対称性の導入(→[[不変性と同変性]])や抽象的知識を扱う能力も今後必要だと考えている。この著者の立場は、本ページが未解決の問いとして挙げてきた「アルゴリズム改善はスケール追加の完全な代替か補完か」という問いに対し、2022年時点で既に「両方必要」という穏健な回答を与えていたことを示す。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.2, [[@2020__arXiv__Scaling Laws for Neural Language Models]]) - **ムーアの法則の終焉というRodney Brooksの反論(2022年時点で言及)は、[[ムーアの法則とデナードスケーリングの終焉]]が実測データで示す「2000年頃からの鈍化」と整合する一方、著者(岡野原)自身はBitter Lessonを支持する立場を取り、計算性能のさらなる向上を前提に議論を進めている**。[[ムーアの法則とデナードスケーリングの終焉]]は2018年時点でMooreの1975年版予測との間に約15倍のギャップが生じていることを実測で示すが、本章はこの終焉論を「Bitter Lessonへの反論の一つ」として引用するにとどまり、著者自身の立場(Bitter Lesson支持)はこの終焉論を明示的に論駁せず、計算性能の向上余地がまだあるという前提で「今後さらなる向上が不可欠」と述べる。これは、ハードウェア研究の実測データ(鈍化の証拠)と、AI研究者の実務的な見通し(なお計算性能向上が中心的な推進力)との間に、同じ著者の中でも緊張関係が存在しうることを示す。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.2, [[ムーアの法則とデナードスケーリングの終焉]]) - [枯渇時期の推定] Chinchilla最適(パラメータあたり20トークン)を前提に notable LLM の訓練データセットサイズの歴史的成長率(0.38 OOM/年)と計算量ベース成長予測を混合すると、公開人間生成テキストの総ストックが完全利用される中央値年は2028年と推定される。オーバートレーニング(5倍)を仮定すると1年早まる(Source: [[@2022__arXiv__Will we run out of data? Limits of LLM scaling based on human-generated data]]) - [データスケーリングとモデルスケーリングの非対称性] 合成データ混合の最適比率はデータスケーリング(データ予算を増やす)とモデルスケーリング(モデルサイズを増やす)で逆転しうる: リフレーズデータでは 67% 混合がデータスケーリングでわずかに有利な一方、モデルスケーリングでは 33% 混合が有利になる(Source: [[@2025__EMNLP__Demystifying Synthetic Data in LLM Pre-training - A Systematic Study of Scaling Laws, Benefits, and Pitfalls]]) - [既約損失(irreducible loss)] $\hat{L}(N, D) = A/N^\alpha + B/D^\beta + E$ の結合スケーリング則で推定される既約損失 $E$ は、合成データ(純 QA を除く)を含む任意の混合が純 CommonCrawl より低くなると推定され、モデル崩壊の理論的懸念に反する経験的証拠となる(Source: [[@2025__EMNLP__Demystifying Synthetic Data in LLM Pre-training - A Systematic Study of Scaling Laws, Benefits, and Pitfalls]]) - [Chinchilla則の拡張] Muennighoff et al. (2025, JMLR)は、ユニーク訓練データが有限であるという制約(data-constrained regime)下でのスケーリング則を提案し、Chinchillaの損失関数 L(N,D)=A/N^alpha+B/D^beta+E の N, D を有効パラメータ数 N'・有効データ量 D' に置き換えた拡張式を400超の訓練実行(最大87億パラメータ・9000億トークン)で実証した。反復トークンの価値は指数関数的に減衰し、半減期に相当する定数 R_D* はおよそ15(16エポック相当)まではおよそ1-1/eの価値を保つ一方、過剰パラメータの半減期 R_N* は R_D* より小さく、データ制約下ではChinchillaが示唆する「パラメータとデータを均等配分」ではなく、エポック数をパラメータ数より速く増やす配分が最適になる。(Source: [[@2025__JMLR__Scaling Data-Constrained Language Models]]) - [合成データへの適用] Lin et al. (2024) の rectified scaling law(L(D)=B/(D_l^β+D^β)+E)は organic data のfine-tuningだけでなく、SYNTHLLMが生成した合成データによる継続学習にもそのまま適用でき、モデルサイズごとに異なる減衰指数β(1Bは0.34、3B/8Bは0.51)を持つことが実証された。マージナルなべき乗則(D_lを除いた形)は同じデータへのフィットに失敗しており、rectified形の優位性が付録の比較(図6)で確認されている(Source: [[@2025__arXiv__Scaling Laws of Synthetic Data for Language Models]]) - [データキュレーション手法の転移性] DataComp-LM(DCLM)は、400M〜3B パラメータの小規模モデルでのデータキュレーション手法(フィルタリング・重複排除・混合)の性能順位が、7B パラメータ規模での順位と高い Pearson 相関(r = 0.838〜0.982)を持つことを示した。これはモデルサイズのスケーリング則そのものではなく、「小規模実験でのデータ設計の優劣が大規模へ転移する」という、スケーリング研究の実験計画に関わる観察である(Source: [[@2024__NeurIPS__DataComp-LM - In search of the next generation of training sets for language models]])。 ## 未解決の問い - データ枯渇(2028年ごろとされるウェブテキストの枯渇予測)は、RL・推論時計算への移行を実際に加速させたか、それとも両者は独立に進行した現象か。教科書は両者を同じ章の中で隣接して語るが、因果関係の実証はしていない。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]) - 『ディープラーニングを支える技術』が挙げるモデルサイズ・データ量・層数の経験的成長(図1.A)は、Kaplan et al. (2020)のべき乗則指数($N^{-0.076}$等)で事後的に説明できるか。GPT-3・DALL-E・Switch Transformerの各データ点をKaplanの最適配分曲線に当てはめて整合性を検証したい。 - TSFM のスケーリング則は言語モデルと同様の冪指数($\alpha \approx 0.07$)を示すか。Toto 2.0 は CRPS rank の単調改善を示したが、厳密な冪指数は未報告。時系列の「トークン」の性質(パッチ)が NLP と異なるため、同じ指数が成立するかは未検証。(Source: [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]]) - Toto 2.0 の 5 サイズで 2.5B まで飽和なしが示されたが、さらなるスケールアップでも単調改善が続くか。言語モデルのスケーリングと同様に、何らかの「壁」が現れるか。 - Kaplan (2020) の最適配分 $N \propto C^{0.73}$ と Chinchilla (2022) の均等配分の不一致は、訓練設定の違い（バッチサイズ、最適化手法、データ品質）のどれが最も支配的な原因か。 - 複数の訓練レシピで得た小規模な学習曲線だけから、指数の安定性と外挿破綻点を事前診断し、Kaplan型とChinchilla型のどちらの計算最適領域に入るかを判定できるか。 - べき乗則はどの規模まで成立するか。本論文が推計する「矛盾点」（$N^* \approx 10^{12}$ パラメータ、$C^* \approx 10^4$ PF-days）付近でどのように変化するか。 - 画像・音声・動画など他の生成モデルドメインでもアーキテクチャ独立性とべき乗則指数は同程度に成立するか。 - スケーリング則は損失（クロスエントロピー）のスケーリングを記述するが、「有用な能力」（推論、コーディング、数学）が損失のどのスケールで創発するかは依然として予測不可能。新しい評価枠組みが必要か。 - RL・後訓練・推論時計算（テスト時スケーリング）は訓練時スケーリングの代替か補完か。フロンティアでの証拠（Chinchilla-optimal モデルへのRL適用で性能が大きく向上した DeepSeek-R1 など）をどう整合させるか。 - 『ディープラーニングを支える技術〈2〉』第5章が示すべき乗則の一般的な現象クラス(ジップの法則・パレートの法則等)との類比は、機械学習のスケーリング則指数の値そのものを説明するか、それとも「べき乗則という関数形が成り立つこと」自体の説明にとどまるか。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) - 著者(岡野原)がBitter Lessonを支持しつつも計算性能向上に加え対称性の導入・抽象的知識の扱いを必要だと考える立場(2022年5月時点)は、2023年以降のスケーリング減速・推論時計算への移行という実際の展開とどこまで整合していたか。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.2) - データが希少になった場合、developer は Chinchilla 最適比から undertraining 側にシフトするインセンティブを持つか(Villalobos et al., 2022 付録Fの利潤最大化モデル) - データ制約スケーリング則が推定する半減期定数 R_D*・R_N* の値は、モデルアーキテクチャ・データセット([[C4]]対[[OSCAR]]等)・トークナイザに依存してどの程度変動するか。 - 合成データのrectified scaling lawにおける減衰指数βとpre-learned data size D_lは、モデルアーキテクチャや事前学習コーパスの違いにどこまで敏感か ## 関連 - ソース: [[@2020__arXiv__Scaling Laws for Neural Language Models]] / [[@2026__30papers__Scaling Laws for Neural Language Models]] / [[@2022__arXiv__Training Compute-Optimal Large Language Models]] / [[@2026__arXiv__Toto 2.0 - Time Series Forecasting Enters the Scaling Era]] / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]](べき乗則以前の経験的な規模拡大の記述) / [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]](Kaplan・Henighan の教科書的な数式再構成) / [[@2020__arXiv__Scaling Laws for Autoregressive Generative Modeling]] / [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]](べき乗則の一般現象クラスとしての位置づけ、Bitter Lesson) / [[@2022__arXiv__Will we run out of data? Limits of LLM scaling based on human-generated data]] / [[@2025__JMLR__Scaling Data-Constrained Language Models]] / [[@2025__EMNLP__Demystifying Synthetic Data in LLM Pre-training - A Systematic Study of Scaling Laws, Benefits, and Pitfalls]] / [[@2025__arXiv__Scaling Laws of Synthetic Data for Language Models]] / [[@2024__NeurIPS__DataComp-LM - In search of the next generation of training sets for language models]] - エンティティ: [[Jared Kaplan]] / [[Jordan Hoffmann]] / [[OpenAI]] / [[DeepMind]] / [[Toto]] / [[Datadog]] - 概念: [[LLMスケーリング則]] / [[計算最適訓練]] / [[言語モデル事前学習]] / [[文脈内学習]] / [[テスト時計算スケーリング]] / [[時系列基盤モデル]] / [[u-μP]] / [[ムーアの法則とデナードスケーリングの終焉]] / [[不変性と同変性]] / [[データ枯渇]] / [[合成データ]] / [[データキュレーション]] - 関連 MOC: [[分散深層学習 - MOC]] / [[時系列基盤モデル - MOC]] ## 出典 - [[@2020__arXiv__Scaling Laws for Neural Language Models]]（§1.1 Summary of Findings, §1.2 Summary of Scaling Laws, §3 Empirical Results, §5 Scaling Laws with Model Size and Training Time, §6 Optimal Allocation of the Compute Budget, Appendix A-B） - [[@2026__30papers__Scaling Laws for Neural Language Models]]（30papers掲載全文と用語解説、図1・3・13・15、原論文との照合） - [[@2022__arXiv__Training Compute-Optimal Large Language Models]]（§3 Estimating the optimal parameter/training tokens allocation：Table 2 アプローチ 3 種の指数推定、§4 Chinchilla：Gopher 比較実験） - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第1章 §1.5補足(「数字で見るディープラーニングの今」)。 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]（§7.1.1 臨界バッチサイズの導出と読み替え手続き、§7.1.2 Henighan et al. の4領域べき乗則、§7.1.3 データ枯渇の試算） - [[@2020__arXiv__Scaling Laws for Autoregressive Generative Modeling]]（教科書 §7.1.2 が読み解いた原論文本体） - 岡野原大輔, 『ディープラーニングを支える技術〈2〉ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第5章, §5.1, §5.2.