# データ制約下でのスケーリング Navigation: [[index]] | [[overview]] ## 定義 **データ制約下でのスケーリング(data-constrained scaling)**とは、計算資源(パラメータ数・計算予算)は増やせるがユニークな訓練データ量が有限に制約されている状況で、言語モデルの性能を最大化する手法・スケーリング則を指す。Chinchilla スケーリング則(Hoffmann et al., 2022)はユニークデータが実質無限に調達可能であることを前提とするが、多くの言語(英語以外)や将来の英語データでも[[データ枯渇]]によりこの前提が崩れることが動機となる([[@2025__JMLR__Scaling Data-Constrained Language Models]])。 ## <データ不足を補う2つのアプローチ> - **データ反復(repetition)を明示的にモデル化したスケーリング則**が原典的アプローチである。 - 根拠: [[@2025__JMLR__Scaling Data-Constrained Language Models]] は訓練トークン $D$ をユニークトークン数 $U_D$ と反復回数 $R_D$ に分解し、反復データの価値が指数関数的に減衰する($R_D^{*}\approx15$、16エポック相当が半減期)ことを実証した。 - 根拠: 同論文は、データ制約下では Chinchilla のようにパラメータとデータを均等に配分するのではなく、エポック数をパラメータ数より速く増やす配分が最適であることを示した(過剰パラメータの方が反復データより速く価値が減衰するため)。 - **合成データによるユニークトークンの水増し**は、反復に頼らずデータ制約を緩和する代替アプローチである。 - 根拠: [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]] は、日本語オーガニック Web テキストが 72B トークン予算のうち 9B トークンしかない設定で、パラフレーズ・指示形式による合成日本語テキストが、日本語 Web の反復(多エポック学習)や英語 Web の直接利用より一貫して優れ、追加オーガニック日本語 Web で穴埋めするオラクル設定にも匹敵・凌駕することを示した。 - 根拠: [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]] は、JA-WEB-9B の多エポック反復が一貫して JA-WEB-63B(追加オーガニックデータ)より性能が劣ることを確認しており、これは [[@2025__JMLR__Scaling Data-Constrained Language Models]] の「反復データの価値は指数関数的に減衰する」という知見と整合する。 - 留保: [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]] は合成データ生成のコストを抑える折衷案として、63B トークンの不足分を部分的(27B・9B)に合成し残りを複数エポック学習で埋めても、ほとんどの設定でフル予算合成と同等の性能を維持できることを示した。これは反復と合成の併用が有効であることを示唆し、両アプローチが排反ではないことを裏付ける。 ## 未解決の問い - 合成データによる水増しと、データ反復による水増しを、同一の拡張スケーリング則(有効データ量 $D'$ の定式化)の中でどう統一的に記述できるか。 - 合成データの「価値の減衰」は反復データと同じ指数関数的な形で近似できるか、それとも異なる減衰特性を持つか([[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]] は JA-PARAPHRASE-63B だけが部分合成+反復で軽微な性能低下を示しており、合成コーパスの種類によって反復耐性が異なる可能性を示唆する)。 - 日本語以外の低資源言語でも、合成データによるデータ制約緩和が同様に有効か。 ## 未編纂の観察 ## 関連 - ソース: [[@2025__JMLR__Scaling Data-Constrained Language Models]] / [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]] - 概念: [[データ枯渇]] / [[合成データ]] / [[計算最適訓練]] / [[スケーリング則]] ## 出典 - [[@2025__JMLR__Scaling Data-Constrained Language Models]] - [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]]