# データ枯渇 LLM の訓練データセットサイズが、公開されている人間生成テキストデータの総ストック(ウェブ・SNS・メッセージングアプリ等から得られる利用可能なテキスト量)に近づき、それ以上ウェブから新規の高品質テキストを調達してスケールを続けることが困難になる現象を指す(Villalobos et al., 2022)。 ## 未解決の問い - 合成データ生成・転移学習・データ効率改善のそれぞれが、データ枯渇による制約をどの程度定量的に相殺しうるか([[@2022__arXiv__Will we run out of data? Limits of LLM scaling based on human-generated data]]は定性的な議論にとどめている)。 - インデックス化ウェブのサイズ(Google 索引サイズ)が過去10年ほぼ横ばいという観測の真の原因は何か(リンク切れとの相殺・意図的な索引管理・地域バイアスのいずれか、あるいは複合か)。 - データ枯渇の時期予測(中央値2028年)は、他の独立したデータストック推定手法(例えば異なる索引サイズ推定法やクロールサンプリング手法)でも同程度の年に収束するか。 ## 未編纂の観察 - [データ枯渇への実務的対処] Muennighoff et al. (2025, JMLR)は、[[データ枯渇]]が動機づける「データが尽きたらどうするか」という問いに対し、合成データ生成とは異なる2つの実務的な対処法を提示・検証した: (1) 既存のユニークデータを最大4エポック程度まで反復しても損失の悪化はごくわずかであり、それ以上の反復も16エポック程度までは緩やかにしか悪化しない、(2) コードデータ(Python)を最大50%まで混合しても自然言語タスク性能は劣化せず、実効データ量を2倍に拡大できる。両者を組み合わせれば、ユニークデータ量を実質8倍相当まで拡張できると見積もっている。(Source: [[@2025__JMLR__Scaling Data-Constrained Language Models]]) - [データ効率での緩和策]動的データ選択によって「トークン量ではなくトークン品質」で事前学習効率を高められることが定量的に示された。OPUSはFineWeb 30Bトークン学習で60Bトークンのランダム学習に匹敵・凌駕し(最大8倍の計算効率)、Qwen3-8B-BaseのSciencePedia継続事前学習では0.5Bトークンで3Bトークンのフル学習を上回る(6倍のデータ効率)。これはデータ枯渇の未解決の問い(データ効率改善が枯渇による制約をどの程度定量的に相殺しうるか)に対する、事前学習時点でのデータ選択という具体策からの部分的な定量的回答である([[@2026__arXiv__OPUS - Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration]])。 - [非英語言語におけるデータ枯渇は英語より深刻] Common Crawl 全体を集約しても日本語のような中規模言語では高々数百億トークン程度しか高品質データが得られず、英語の数兆トークン規模には遠く及ばない。この言語間不均衡は、日本語 LLM の事前学習を固定トークン予算(72B、日本語オーガニックWebは9Bのみ)という極端な制約下に置く動機となった(Source: [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]])。 ## 関連 - ソース: [[@2022__arXiv__Will we run out of data? Limits of LLM scaling based on human-generated data]] / [[@2025__JMLR__Scaling Data-Constrained Language Models]] / [[@2026__arXiv__OPUS - Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration]] / [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]] - 概念: [[合成データ]] / [[スケーリング則]] / [[事前学習データ選択]] / [[データ制約下でのスケーリング]] ## 出典 -