# Scaling Data-Constrained Language Models Navigation: [[index]] | [[hot]] > [!abstract] 概要 > 言語モデルのスケーリングにおける現在の潮流は、パラメータ数と訓練データセットサイズの両方を増やすことである。この傾向を外挿すると、訓練データセットサイズはまもなくインターネット上で利用可能なテキストデータの量によって制限される可能性があることが示唆される。この限界に動機づけられ、我々はデータ制約下の領域における言語モデルのスケーリングを調査する。具体的には、データ反復の程度と計算予算を変化させる大規模な実験群を実行し、最大9000億訓練トークン、90億パラメータのモデルにまで及ぶ。我々は、固定された計算予算に対してデータが制約されている場合、最大4エポックの反復データで訓練しても、ユニークデータのみで訓練した場合と比べて損失にごくわずかな変化しかもたらさないことを見出した。しかし、それ以上反復すると、計算量を追加する価値は最終的にゼロへと減衰する。我々は、反復トークンおよび過剰パラメータの価値低下を織り込んだ計算最適性に関するスケーリング則を提案し、これを実証的に検証する。最後に、コードデータで訓練データセットを補強すること、または一般的に用いられているフィルタを除去することを含む、データ不足を緩和するアプローチを実験する。我々の400回の訓練実行から得られたモデルとデータセットは https://github.com/huggingface/datablations で自由に利用可能である。 > キーワード: 大規模言語モデル、スケーリング則、データ制約、データエンジニアリング ## 論文情報 - 著者: Niklas Muennighoff, Alexander M. Rush, Boaz Barak, Teven Le Scao, Aleksandra Piktus, Nouamane Tazi, Sampo Pyysalo, Thomas Wolf, Colin Raffel - 所属: [[Hugging Face]]([[Niklas Muennighoff]], [[Sasha Rush]], [[Teven Le Scao]], [[Aleksandra Piktus]], [[Nouamane Tazi]], [[Thomas Wolf]], [[Colin Raffel]])、[[Harvard University]]([[Boaz Barak]])、[[University of Turku]]([[Sampo Pyysalo]]) - 媒体: Journal of Machine Learning Research 26 (2025) 1-66。投稿 2024年6月、改訂 2024年12月、掲載 2025年2月 - URL: https://jmlr.org/papers/v26/24-1000.html - ライセンス: CC-BY 4.0 - コード・モデル: https://github.com/huggingface/datablations ## 概要 本論文は、利用可能なユニーク訓練データが有限であるという制約下(data-constrained regime)で言語モデルをスケーリングする際の挙動を、400以上の訓練実行(1000万〜90億パラメータ、最大1500エポック)を通じて実証的に調査する。Chinchillaスケーリング則([[計算最適訓練]])は訓練データが実質無限に調達可能であることを前提としており、多くの言語(英語以外)や将来の英語データですら[[データ枯渇]]によりこの前提が崩れることを動機として、データ反復(repetition)を明示的にモデル化した拡張スケーリング則を提案する。 ## 問題設定 - Chinchillaスケーリング則(Hoffmann et al., 2022)を11兆トークン規模のモデル(MT-NLGクラスの5300億パラメータ)に外挿すると30テラバイト超のテキストが必要になり、大半の言語ではすでにデータ制約下にある。 - 先行研究(Villalobos et al., 2022)は、高品質な英語データですら2024年までに枯渇すると推定していた。 - 問い: ユニークデータ予算 $D_C$ が固定されているとき、計算資源をどう配分すれば良いか(Allocation)、また反復データに追加の計算を投入する価値はどの程度か(Return)。 ## 提案手法 - 訓練トークン $D$ をユニークトークン数 $U_D=\min\{D_C,D\}$ と反復回数 $R_D=(D/U_D)-1$ に分解し、対称的にパラメータ数 $N$ も $U_N$(ユニークトークン量に対する計算最適パラメータ数)と過剰パラメータの反復 $R_N$ に分解する。 - Chinchillaの損失関数 $L(N,D)=A/N^\alpha+B/D^\beta+E$ の $N, D$ を、それぞれ**有効パラメータ数** $N'$・**有効データ量** $D'$ に置き換えた拡張式を提案する。 $D' = U_D + U_D R_D^{*}\left(1-e^{-R_D/R_D^{*}}\right), \qquad N' = U_N + U_N R_N^{*}\left(1-e^{-R_N/R_N^{*}}\right)$ - $R_D^{*}, R_N^{*}$ はそれぞれ反復データ・過剰パラメータの価値が $1-1/e$ に減衰する「半減期」に相当する学習可能な定数で、実験データにフィットして推定する。$R_D=0$(反復なし)のとき $D'=U_D=D$ となり、通常のChinchilla式に一致する。 - 3種の実験プロトコルで検証する: (1) Fixed Unique Data(データ予算 $D_C$ を固定し、パラメータとエポックの配分を変える。§5、Allocation)、(2) Fixed FLOPs(計算量を固定し $D_C$ を変える。§6、Return)、(3) Parametric Fit(上記の式を全実行データにフィットし予測性能を評価)。 - モデルはGPT-2アーキテクチャ・トークナイザを用いたTransformerで、[[C4]](Raffel et al., 2020)のサブセットで訓練する。データ予算が小さいほどより多くエポックを回すが、少データの実行が常により多いデータの実行の部分集合になるよう慎重に設計する(図2)。 ![[fig02-dataset-setup.png]] *図2: データセット構成。少ないデータ(多エポック)の実行は、常により多いデータ(少エポック)の実行の部分集合になるよう設計する。* - 過学習の影響を避けるため、Hoffmann et al. (2022)が用いた訓練損失ではなく、ホールドアウトのテスト損失を主要な評価指標として採用する(§6.1で訓練損失は反復時の過学習により不適切であることを示す)。 ## 新規性 - Chinchillaスケーリング則を反復データの価値低下を織り込む形へ一般化した、初めてのデータ制約スケーリング則を提案・実証した。 - 反復データの価値が指数関数的に減衰するという定式化(D')を、$R_D^{*}\approx15$(16エポック相当)という具体的な半減期の推定値とともに提示した。 - データ制約下では過剰パラメータの方が反復データより速く価値が減衰する($R_N^{*}<R_D^{*}$)ことを見出し、Chinchillaが示唆する「パラメータとデータを均等に配分する」という指針が反復データの領域には当てはまらず、エポック数をパラメータ数より速く増やす配分が最適であることを示した。 - データ反復に加え、コードデータの混合とフィルタリング除去という2つの「データ不足緩和」戦略を初めて体系的にベンチマークした。 ## 実験設定 - 訓練モデル数: 400超、パラメータ数1000万〜87億、訓練トークン最大9000億、エポック数最大1500。 - Fixed Unique Data実験(§5): ユニークトークン予算を100M・400M・1.5Bに固定し、パラメータとエポックを様々に変化させた182の訓練実行(100M予算では93モデル)でIsoLoss等高線を作成(図3・図4)。 ![[fig03-isoloss-contours-100m.png]] *図3: 100Mユニークトークンに対するIsoLoss等高線。左: 93モデルの実測結果。右: データ制約スケーリング則による予測。反復による収穫逓減が等高線間隔の拡大として現れる。* - Fixed FLOPs実験(§6): 2.8B/4.2B/8.7Bパラメータのモデルをそれぞれ55B/84B/178Bトークンで訓練し、8種類のデータ予算(ユニークトークン率100%〜10%)で比較(図9・図10)。 - 頑健性チェック: 重複除去済みC4での再実験(§5.2)、[[C4]]よりノイジーなOSCARコーパスでの再実験(§6.2)、muP(Yang et al., 2021)ハイパーパラメータでの比較(§5.3)。 - 実規模検証: 効率的フロンティアが示唆する配分(250億ユニークトークン、$9.3\times10^{21}$ FLOPs)で計算最適モデルを実際に訓練し、Chinchilla則が示唆する配分と比較。 - 補完的データ戦略の実験(§8): The StackのPythonコードを0〜90%の10段階で自然言語データ([[C4]])に混合、パープレキシティフィルタリング(Wikipedia訓練済みモデルで下位25%を採用)、重複除去フィルタリング(100文字重複除去)を、共通のデータ予算840億トークン(フィルタ2手法は元1780億トークンから絞り込み)で比較。評価は19の自然言語タスク・0〜5-shotで114スコアを算出し正規化して平均化。 ## 実験結果 ![[fig01-return-and-allocation.png]] *図1: 反復時のReturnとAllocation。左: 4.2Bパラメータモデルの損失は反復データに対して予測可能に減衰する(§6)。右: 反復時に性能を最大化するには、Chinchilla則が反復データに対して示唆する配分に反し、より小さいモデルをより多くエポック訓練する方が良い(§5)。* - 100Mユニークトークン制約下では、1エポック時の計算最適(Chinchilla則によるUN≈700万パラメータ)より20〜60倍多いパラメータ・エポック(計算量にして約7000倍)まで反復・拡大した方が、50%以上の損失削減を達成できる。一方で1エポックのモデルは訓練データを大幅に活用しきれていないことが示唆される。 - 8.7Bパラメータモデルを4エポック(ユニークトークン440億)訓練した場合、1エポック(ユニークトークン1780億)のモデルと比較して検証損失はわずか0.5%しか悪化しない(図1・図10)。 ![[fig10-empirical-extrapolated-loss.png]] *図10: データ制約下での実測・外挿損失。左: 3種の訓練予算それぞれで、パラメータ数を固定し反復トークン量を変化させた場合の最終テスト損失。右: データ制約スケーリング則による外挿。少数エポックでは反復の悪影響は軽微だが、多エポックでは損失改善が頭打ちになる。* - 反復による損失悪化はおよそ16エポック($R_D^{*}\approx15$)まで穏やかで、それを超えると急速に悪化する。 - 200エポック付近でdouble descent現象(損失が一度増加してから再度減少する)を観測し、$D'$の関数形はこの現象を前提としないためフィッティング時に大半を除外した(§5.1)。 - 重複除去済みC4でも([[C4]]と同様)最適エポック数は59で一致し、傾向はデータセットの重複量に依存しない(§5.2)。 - 効率的フロンティアに沿って訓練した実規模モデル(パラメータ27%削減)は、Chinchilla則が示唆するモデルより低い損失と高い下流性能を達成した(図1右・表8)。 - コード混合はPython比率50%(トークン420億)まで自然言語タスク性能を劣化させず、実効データ量を2倍に拡大できる。WebNLG(生成)とbAbI(推論)はコード導入直後に性能が跳ね上がる。 - パープレキシティフィルタリングは有効だが、重複除去は下流タスク性能を向上させない(むしろ悪化させうる)。フィルタリングはノイジーなデータセットでのみ有効という結論を得た。 ![[fig16-complementary-strategies.png]] *図16: データ制約下の補完戦略とその下流性能。左: 反復・コード補充・フィルタリングの模式図。右: データ予算別の19タスク平均性能。反復・コード補充はデータ予算25〜50%までほぼ劣化しないが、フィルタリング(特に重複除去)は性能を押し上げない。* ## 考察 - データ反復とコード混合を組み合わせることで、例えばコードでデータ量を2倍にした後さらに4エポック反復すれば、最初から8倍のユニークデータがあった場合と同等の実効訓練トークン量(8倍)を達成できると見積もる。 - 過剰パラメータ・過剰エポックが損失を悪化させる現象(図3・図4)は、適切な正則化(極端には過剰パラメータの除去)によって回避でき、性能は悪化ではなく頭打ちになると期待されるが、本論文の定式化自体はこの可能性をモデル化していない。 - 120億パラメータのGalacticaモデル(Taylor et al., 2022、4.25エポック訓練)は、データ制約スケーリング則に従えば大幅に小さいモデルで十分だったはずであると指摘する。 ## 強み / 弱点・課題 - 強み: 400超の訓練実行という大規模な実証基盤に基づき、Chinchilla則を自然に一般化する解析的な定式化を提示し、実規模での検証まで行っている。モデル・データセットを公開している。 - 弱点・課題: データセット全体を繰り返すシナリオのみを扱い、データセットの一部分だけを反復するシナリオ(Hernandez et al., 2022)は将来課題として残している(§10.1)。過剰パラメータ・過剰エポックが損失を悪化させる現象は正則化で回避可能と推測するのみで実証していない。重複除去がなぜ下流性能を悪化させるかについては仮説(記憶されたシーケンスの除去による訓練・検証分布の乖離)止まりで、直接的な検証はしていない。