# LLMスケーリング則 ## 定義 LLM スケーリング則（scaling laws）とは、大規模言語モデルの性能（汎化誤差）がモデルスケール $N$、データスケール $D$、計算予算 $C$ の増加に伴い冪乗則に従って予測可能に改善するという経験的法則である。Kaplan et al. (2020) が $N_{\text{opt}} \propto C^{0.73}$, $D_{\text{opt}} \propto C^{0.27}$ とモデル偏重の配分を、Hoffmann et al. (2022, Chinchilla) が $N_{\text{opt}} \propto C^{0.49}$, $D_{\text{opt}} \propto C^{0.51}$ と均等配分を主張し、両者の不一致が問題となった。DeepSeek LLM はモデルスケール表現として非埋め込み FLOPS/トークン $M$ を導入し、$M_{\text{opt}} \propto C^{0.5243}$, $D_{\text{opt}} \propto C^{0.4757}$ を導出するとともに、データ品質が最適配分を左右することを示した。(Source: [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]) ## 横断的知見 - GPT-2（2019）はゼロショットタスク性能がモデル規模に対して対数線形に改善することを複数タスクで実証した。DeepSeek LLM（2024）は言語モデリング損失がモデル規模 $N$ とデータ規模 $D$ に対して冪乗則に従うことをより厳密に定量化した。両者を突き合わせると、スケーリング則はパープレキシティ（訓練損失）レベルだけでなく、ゼロショットの下流タスク性能レベルでも成立するという一貫した傾向が確認される。ただし GPT-2 は対数線形の経験的傾向を図示したにとどまり、冪乗則の指数や最適配分を定量化する分析には至っていない。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]], [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]) - GPT-2 は最大モデル（1.5B）でも WebText をアンダーフィットしており、さらなるスケールアップの余地を示唆した。DeepSeek LLM のスケーリング分析ではデータ品質が最適なモデル/データ配分を左右すると結論しており、両者を合わせると、訓練データの規模だけでなく品質もスケーリングの限界を規定する要因であることが浮かび上がる。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]], [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]) - GPT-3（2020）は 8 モデルサイズ（125M〜175B）の系列実験で、文脈内学習の性能がモデルパラメータ数に対して滑らかに改善する（smooth scaling）ことを実証した。特にゼロショットとの性能差はモデル規模が大きいほど拡大し、大きなモデルほど文脈内学習の恩恵が大きい。タスクによっては 175B で微調整 SOTA に匹敵（SuperGLUE 71.8 対微調整 BERT-Large 69.0、LAMBADA 精度 86.4% 対従来 SOTA 68.0%）する結果を達成した。GPT-2 が示唆したスケーリングの余地が 2 桁の規模拡大で下流タスク性能として結実した事例であり、DeepSeek LLM の冪乗則がモデリング損失のスケーリングを精緻化したのに対し、GPT-3 はスケーリング則の下流タスク性能への影響をより包括的に示した。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]], [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]], [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]) - **スケーリング則は言語以外の全モダリティに普遍的に成立し、最適モデルサイズの指数が共通である**: [[Tom Henighan]]・[[Jared Kaplan]] ら（2020）は画像・動画・マルチモーダル・数学的問題求解の 4 ドメインで損失が $L(x) = L_\infty + (x_0/x)^{\alpha_x}$ に従うことを示した。特に最適モデルサイズの指数 $\beta \approx 0.7$ が全モダリティで普遍的に一定であることは、言語モデルのスケーリング則（Kaplan et al. 2020）の一般化として重要である。これはデータモダリティに依らず「計算予算の増加分は長い訓練よりも大きなモデルの訓練に投入すべき」という同一の結論を導く。一方、データセットサイズのスケーリング $D \propto N^{0.4}$ というモデルサイズに対する劣線形なスケーリングは後の Chinchilla（$D \propto N$）と矛盾しており、未解決の問題を残している。(Source: [[@2020__arXiv__Scaling Laws for Autoregressive Generative Modeling]]) - **低減不可能損失への接近は下流タスク性能の頭打ちを意味しない**: Henighan et al. (2020) は生成損失が不可逆成分（データ分布のエントロピー）に近づいても、ファインチューニングした ImageNet 分類性能はモデルサイズに対して純粋な冪乗則で改善し続けることを示した。これは「最後の数ビット」に重要な意味的情報が含まれることを示唆し、事前学習での性能追求を正当化する。(Source: [[@2020__arXiv__Scaling Laws for Autoregressive Generative Modeling]]) - **GPT-4 のスケーリング則実用化：超大規模訓練前の性能予測が現実的に機能した**: OpenAI は GPT-4 の訓練計算量の 1/1,000〜1/10,000 しか使わない小規模モデルに不可逆損失項付き冪乗則 $L(C) = aC^b + c$ をフィットし、GPT-4 の内部コードベース損失と HumanEval パス率を訓練完了前に正確に予測した。これは Kaplan et al. (2020) のスケーリング則が実用の超大規模モデル開発に統合された最初の公的な大規模実証事例である。「予測可能スケーリング」という概念は GPT-4 報告書で初めて明示的な設計目標として掲げられた。また、逆スケーリング賞(Hindsight Neglect)でスケールとともに性能が下がるとされていた行動を GPT-4 が反転させた事例は、スケーリング則の適用範囲が一様でなく、創発的な能力の逆転がスケールで起きることを示唆する。(Source: [[@2023__arXiv__GPT-4 Technical Report]]) - **スケーリング則に基づく超大規模投資が失敗した事例が報告された**: [[Glenn K. Lockwood]]（元 Microsoft）によると、GPT-4 以降に [[Microsoft]] の超大規模クラスタで訓練した「魔法の」モデルは GPT-4o 比トークン単価 15 倍・推論に 120 GPU 必要で経済破綻し、2025 年 4 月に非推奨化された。対照的に競合の推論モデルが「小規模な旧式クラスタ」で匹敵する成果を達成した。DeepSeek-R1（SFT なし純粋 RL）やアーキテクチャ改善が「スケールより賢さ」方向への転換を示している。GPT-2/GPT-3 が確立したスケーリング則は 2023 年の GPT-4 まで有効だったが、フロンティアレベルではアルゴリズム改善がスケール追加の代替になりつつある可能性がある。(Source: [[@2026__Glenn K. Lockwood Blog__AI doesnt need giant supercomputers after all]], [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]], [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - **スケーリング則が「インフラ設計」の強力な推論ツールになっている**: HotNets 2024 では、Kaplan・Hoffmann のスケーリング則を直接使って「1000 億ドルデータセンターで訓練できる最適モデルサイズ」を 103.8T と導出し、そこからネットワーク通信量・並列化設計・トポロジ要件を全て演繹した。スケーリング則はモデル性能予測だけでなく、**インフラ調達の計画ツール**としても実用化されている。(Source: [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]]) - **DeepSeek-V3 が「MoE で N の定義自体が再考を要する」という未解決の問いに具体的なデータ点を与えた**: 本 concept は DeepSeek LLM(dense モデル)が導入した非埋め込み FLOPS/トークン指標 $M$ について「MoE では $M$ の定義をどう拡張すべきか」を未解決としてきた。[[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]が読み解く [[@2024__arXiv__DeepSeek-V3 Technical Report]] は、総パラメータ671Bに対しトークンごとの活性化パラメータが37B(約5.5%)という MoE の具体的な乖離幅を提供する。教科書自体はスケーリング則の文脈で $M$ を再定義してはいないが、DeepSeek LLM の dense モデル分析からわずか半年強で MoE アーキテクチャに移行した経緯は、この concept が指摘してきた「$M$ の定義問題」が理論的な懸念にとどまらず実装レベルで急速に顕在化したことを示す。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]], [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]) - **教科書は DeepSeek-R1 を「スケーリング則から見て非自明な事例」として扱わず、事後学習という別軸に切り出して説明している**: 本 concept は「フロンティアモデルのスケーリング則的な『伸び』が鈍化し始めた2025年以降、アルゴリズム改善（RL、推論時計算）はスケール追加の完全な代替か、補完的な手段か」という問いを未解決としてきた。教科書 ch7 は DeepSeek-R1 のモデル構造が DeepSeek-V3 そのものであり「推論時スケーリングを発現させるために取り入れた特別な構造はない」と明記した上で、推論時スケーリングを事前学習のスケーリング則(7.1節)とは独立した第二の軸として章構成のレベルで分離している。これは「代替か補完か」という問いに対し、教科書の立場としては明確に「補完(独立した軸)」であることを示す一次資料だが、教科書自身はこの二分法を明示的に論じてはおらず、章構成という暗黙の主張にとどまる。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]) - **2022年5月時点の教科書的な見通しは、スケーリング則が示すモデル拡大の帰結として「一部の企業しかFoundation Modelを作れなくなる」という懸念と、「蒸留によるコスト回収」という対応策の両方をすでに予見していた**: 『ディープラーニングを支える技術〈2〉』第5章は、事前学習を行いさまざまなタスクに使える超巨大モデルを「Foundation Model」(BERT・GPT-3・DALL-Eが該当)と呼び、こうしたモデルは一部の企業しか作れなくなりつつあり電力消費も課題になると指摘する一方、特定タスクにのみ使う場合は大きな汎用モデルから小さな専用モデルへ「蒸留」することが有効であり、今後はFoundation Modelから蒸留でタスクごとのモデルを切り出す流れが増えると予想している。本ページが集約する DeepSeek LLM・DeepSeek-V3 のような「オープンな効率的大規模モデル開発」の潮流や、GPT-4以降のフロンティアモデルの高コスト化・非推奨化事例([[Glenn K. Lockwood]]の報告)は、この2022年時点の予見(一部企業への集中、蒸留による対応)が実際に顕在化した具体例として読める。ただし同章は蒸留を主にコスト削減の文脈で語り、DeepSeek系がスケーリング則の指数そのものを再定義する動機(データ品質・MoEアーキテクチャ)までは予見していない。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.2, [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]) - **スケーリング則の枠組みは「モデルサイズ $N$・データ量 $D$・計算量 $C$」の3変数を超えて、「ドメイン混合比率 $r$」という第4の変数へ明示的に拡張されている**: [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.2 Data Processing - Selection and Mixing]] が扱う Data Mixing の Before-Training (Model-Based Optimization) 系統は、本 concept が集約する冪乗則型スケーリング則を土台に据えて構築される。D-CPT はモデルパラメータ数 $N$・訓練データ量 $D$・ドメイン比率 $r$ を用いて検証損失を $L(N,D,r) = E + A/N^\alpha + B \cdot r^\eta/D^\beta + C/(r+\epsilon)^\gamma$ と定式化し、これは Chinchilla スケーリング則([[@2022__arXiv__Training Compute-Optimal Large Language Models]] が確立した $N,D$ の2変数冪乗則)へドメイン比率 $r$ の項を明示的に追加した拡張である(原文はこれを「based on Chinchilla Scaling Law」と直接言明する)。CMR のべき乗則 $L(R) = \alpha \cdot R^s + \beta$ や BiMix の Bivariate Data Mixing Law $L_i(r_i,s) = A_i/r_i^{\alpha_i} + B_i/s^{\beta_i} + C_i$ も同様に、本 concept が扱う「訓練ステップ数・モデルサイズに対する冪乗則」という関数形をそのまま流用し、変数をドメイン比率へ差し替える構成を取る。すなわち、本 concept が蓄積してきた「性能は冪乗則に従って予測可能に改善する」という経験則は、モデル・データのスケールだけでなく、**データセットの内部構成比(ドメイン混合比率)という第3の軸にも同型に成立する**ことが Data Mixing 研究群によって示されている。(Source: [[@2022__arXiv__Training Compute-Optimal Large Language Models]], [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.2 Data Processing - Selection and Mixing]] §2.3.5 Before-Training Mixing (Model-Based Optimization), Table 6) ## 未解決の問い - [[Preferred Elements]]の1T級MoEでは、100Bトークンのtrain lossが1B・3B・13Bの小型モデルからの外挿より悪化した。これは学習トークン不足、MoEアーキテクチャの設計不足、または密モデルからMoEへの外挿破綻のどれによるのか。(Source: [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]]) - Data Mixing 研究群がドメイン比率 $r$ をスケーリング則に追加する際、Chinchilla のモデルサイズ指数 $\beta \approx 0.49$ 自体はそのまま流用されているのか、それともドメイン比率という新しい軸の導入によって $N, D$ の指数自体も再推定が必要になるのか。D-CPT・CMR の原文([[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.2 Data Processing - Selection and Mixing]])はこの点を明示していない。 - 最適モデルサイズの指数 $\beta \approx 0.7$（Henighan et al. 2020・Kaplan et al. 2020）と $\beta \approx 0.49$（Chinchilla）の不一致は、データ品質・訓練エポック数・バッチサイズ設定のいずれが主因か、またどの条件下で Chinchilla 側の結論が正しくなるのか。(Source: [[@2020__arXiv__Scaling Laws for Autoregressive Generative Modeling]]) - データセットサイズスケーリング $L(D)$ と計算量スケーリング $L(C)$ の見かけ上の矛盾（$L(C)$ の外挿が $L(D(C))$ を下回る）は、最適化効率の向上（より少ないエポックで収束）によって解消されるという著者らの仮説は、実際に実証されたか。(Source: [[@2020__arXiv__Scaling Laws for Autoregressive Generative Modeling]]) - DeepSeek LLM のスケーリング則はデータ品質の影響を示したが、データ品質の定量的な指標（フィルタリング戦略、ドメイン比率、言語比率など）のうちどれがスケーリング配分に最も強く影響するかは未解明である。(Source: [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]) - 非埋め込み FLOPS/トークン $M$ による精緻化は Dense モデルに対して行われたが、MoE のように活性化パラメータが全パラメータと大きく乖離するアーキテクチャでは $M$ の定義をどう拡張すべきか。(Source: [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]) - ハイパーパラメータ（バッチサイズ・学習率）の冪乗則は計算予算 $C$ のみに依存するとモデル化されたが、モデル/データ配分が最適ハイパーパラメータ空間に与える影響は今後の課題として残った。(Source: [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]) - Kaplan / Chinchilla / DeepSeek LLM のスケーリング則の不一致は、データ品質の違いで部分的に説明されるが、訓練の実装詳細（最適化手法、スケジューラ、精度）がどの程度スケーリング曲線に影響するかは定量化されていない。 - フロンティアモデルのスケーリング則的な「伸び」が鈍化し始めた 2025 年以降、アルゴリズム改善（RL、推論時計算）はスケール追加の完全な代替か、それとも補完的な手段か。もし代替なら、訓練規模の対数線形スケーリングは「フロンティア以前」に限定された現象になるのか。(Source: [[@2026__Glenn K. Lockwood Blog__AI doesnt need giant supercomputers after all]]) - GPT-4 で確認された「逆スケーリングの反転」（Hindsight Neglect 等）は、特定のタスク構造に依存した現象か、それとも大きなモデルで一般的に発生する「相転移」として理解すべきか。どのような訓練設定・タスク形式が創発的能力の反転を引き起こすのか。(Source: [[@2023__arXiv__GPT-4 Technical Report]]) ## 関連 - ソース: [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.2 Data Processing - Selection and Mixing]](スケーリング則をドメイン混合比率という第3の軸へ拡張する Data Mixing 手法群) / [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]] / [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]] / [[@2020__NeurIPS__Language Models are Few-Shot Learners]] / [[@2020__arXiv__Scaling Laws for Autoregressive Generative Modeling]] / [[@2022__arXiv__Training Compute-Optimal Large Language Models]] / [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]] / [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]] / [[@2024__arXiv__DeepSeek-V3 Technical Report]] - エンティティ: [[DeepSeek-AI]] / [[DeepSeek LLM]] / [[GPT-2]] / [[GPT-3]] / [[OpenAI]] / [[Jared Kaplan]] / [[Tom Henighan]] / [[Jordan Hoffmann]] / [[DeepMind]] / [[Costin Raiciu]] - 概念: [[LLM分散学習]] / [[オープンLLM開発]] / [[計算最適訓練]] / [[AIデータセンタートポロジ]] / [[知識蒸留]] / [[スケーリング則]] / [[サンプリング手法]] - 関連 MOC: [[分散深層学習 - MOC]] ## 出典 - [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.2 Data Processing - Selection and Mixing]](§2.3.5 Before-Training Mixing (Model-Based Optimization): D-CPT の Chinchilla スケーリング則拡張、CMR のべき乗則、BiMix の Bivariate Data Mixing Law、Table 6) - [[@2024__arXiv__DeepSeek LLM - Scaling Open-Source Language Models with Longtermism]]（§3 Scaling Laws: ハイパーパラメータの冪乗則, 非埋め込み FLOPS/トークン $M$, データ品質の影響, IsoFLOP プロファイル法） - [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]（図1: ゼロショットタスク性能のモデル規模依存性, §3 各ベンチマーク結果, §4 アンダーフィットの議論） - [[@2020__NeurIPS__Language Models are Few-Shot Learners]]（§1 Introduction: 8 モデルサイズ系列での滑らかなスケーリング, Figure 1.1: 文脈内学習性能のモデルサイズ依存性, §3 Results: タスク別のスケーリング傾向） - [[@2020__arXiv__Scaling Laws for Autoregressive Generative Modeling]]（§1 Introduction: 全モダリティへの一般化・情報理論解釈, §2 Central Empirical Scaling Laws: モダリティ別指数の表, §2.3 Compute Scaling: $N_\text{opt} \propto C^{0.7}$ の普遍性, §3.4 Finetuning: 下流タスクでの継続的改善, §6 Inconsistency: データセット・計算量スケーリングの矛盾） - [[@2020__arXiv__Scaling Laws for Neural Language Models]]（§1.1 Key Findings, §1.2 Summary of Scaling Laws: べき乗則指数の一覧, §6 Optimal Allocation of the Compute Budget: $N_{\text{opt}} \propto C^{0.73}$） - [[@2022__arXiv__Training Compute-Optimal Large Language Models]]（§3 Table 2: 3 手法による指数推定 $a \approx b \approx 0.50$、§4 Chinchilla 評価結果: MMLU 67.6%・BIG-bench +10.7%） - [[@2023__arXiv__GPT-4 Technical Report]]（§3 Predictable Scaling: 損失予測・HumanEval パス率予測・逆スケーリング反転; Figure 1-3） - [[@2024__HotNets__I've Got 99 Problems But FLOPS Ain't One]](スケーリング則を用いた 103.8T パラメータモデルの物量設計・インフラ計画ツールとしての実用化) - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]]（§7.2.1 DeepSeek-V3 のモデル構造とパラメータ規模、§7.2 冒頭 事前学習/推論時スケーリングの章構成レベルでの分離） - [[@2024__arXiv__DeepSeek-V3 Technical Report]]（総671B・活性化37Bという MoE のパラメータ乖離の一次情報） - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第5章, §5.2.（Foundation Model・蒸留による対応の2022年時点の見通し）