# 合成データ モデル自身、または別のモデルが生成した出力を訓練データとして用いる手法。人間生成テキストデータが有限であるという制約([[データ枯渇]])を回避する手段の一つとして注目される(Villalobos et al., 2022)。数学・プログラミング・ゲームのように出力の正しさを検証しやすい領域(AlphaZero・AlphaGeometry 等)では有効性が実証されているが、自然言語のように出力検証が難しい領域への一般化は不透明とされる。反復的にモデル出力で訓練を続けると、元のデータ分布に関する情報が失われ出力が均質化・非現実的になる「モデル崩壊(model collapse)」のリスクが指摘されており、人間データと合成データを混合する・データの多様性を確保するといった対策が挙げられている。 ## 未解決の問い - 自然言語生成のように出力の正しさを直接検証できない領域で、合成データの有効性はどこまで一般化するか。 - モデル崩壊を避けつつ合成データの規模を拡大するための、人間データとの最適な混合比はどの程度か。 - 合成データの種類(HQ/QA リフレーズ、TXBK 以外の生成コード・対話データ等)ごとに、最適混合比率と生成モデル能力への依存はどう変わるか。 - SYNTHLLMの概念グラフ方式は数学・コード以外のドメイン(物理・法律・金融)でも同様のスケーリング挙動を示すか - 非英語言語における合成データの効果は、対象言語に十分流暢なLLM(合成器)へのアクセスを前提とするが、この前提が成立しない低資源言語ではどう対処すべきか。 ## 未編纂の観察 - [混合比率] 大規模実証(>1000 LLM、>100k GPU時間)では、リフレーズ合成データ単独の事前学習は自然 Web テキスト単独より速くならないが、1/3 リフレーズ合成 + 2/3 自然の混合はより大きいデータ予算で検証損失到達を 5〜10 倍高速化する。「良い」比率はモデルサイズ・データ予算に依存し、リフレーズ系は約 30% に収束する(HQ は規模を通じて一貫、QA は規模が大きくなるほど 50%→30% へ減少)(Source: [[@2025__EMNLP__Demystifying Synthetic Data in LLM Pre-training - A Systematic Study of Scaling Laws, Benefits, and Pitfalls]]) - [生成モデル能力] より大きい・より高性能な生成モデルが必ずしも優れた合成データを生むわけではない: Llama-3-8B 生成の合成データは 3B より優れるが、70B へさらに大型化しても 8B を上回らず、HQ リフレーズでは 70B の方が一貫して悪化する例もある(Source: [[@2025__EMNLP__Demystifying Synthetic Data in LLM Pre-training - A Systematic Study of Scaling Laws, Benefits, and Pitfalls]]) - [品質と多様性のトレードオフ] 単一分布への KL 情報量ではテストセットに最も近いのは CommonCrawl だが CommonCrawl が優れた性能を示すわけではなく、約 30% の合成データ混合の方が性能が良い。「良い」訓練データ混合は単純な分布類似性を超えた要因に依存する(Source: [[@2025__EMNLP__Demystifying Synthetic Data in LLM Pre-training - A Systematic Study of Scaling Laws, Benefits, and Pitfalls]]) - [スケーリング則との関係] SYNTHLLM(概念グラフのランダムウォークで複数文書の高レベル概念を再結合して質問を生成するフレームワーク)が生成する数学ドメインの合成データは、Llama-3.2-1B/3B・Llama-3.1-8Bのいずれでも rectified scaling law に良く適合し、約300Bトークンで性能向上が逓減し始め、モデルが大きいほど少ないトークン数(8Bは1T、3Bは4T)で性能上限に近づく(Source: [[@2025__arXiv__Scaling Laws of Synthetic Data for Language Models]]) - [生成手法の多様性] 単一文書からの直接抽出(Level-1)に対し、文書内の概念再結合(Level-2)や複数文書にまたがる概念グラフからのランダムウォーク(Level-3)は、生成質問間のコサイン類似度を下げ(=多様性を高め)、rephrase拡張・persona拡張よりも質問数を増やしたときの性能飽和が起きにくい(Source: [[@2025__arXiv__Scaling Laws of Synthetic Data for Language Models]]) - [パラフレーズ・指示形式の合成データが訓練データ拡張に有効] 日本語 LLM の固定トークン予算(72B、うち日本語オーガニックWebは9Bのみ)下で、パラフレーズ・指示形式(document-grounded QA)による合成日本語コーパスが、英語Webの直接利用や日本語Webの反復より一貫して優れ、追加オーガニック日本語Webで穴埋めするオラクル設定にも匹敵・凌駕した(Source: [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]])。 - [合成データの効果は事前学習由来の汎用的な言語モデリング能力向上にも起因する] 事後学習(教師ありファインチューニング)後も合成コーパス(パラフレーズ・指示形式)が最良を維持したが、ベースラインとの差は事前学習時より縮小した。これは効果の一部が指示追従スタイルの学習に由来し、残りが汎用的な言語モデリング能力向上に由来することを示唆する(Source: [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]])。 - [合成データの規模を部分的に抑えても複数エポック学習で同等性能を達成できる] 63Bトークンの合成予算を27B・9Bに絞り残りを複数エポック学習で埋めても、ほとんどの設定でフル予算合成と同等の性能を維持でき、合成データ生成のコストを抑えつつスケーリングできることを示した(Source: [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]])。 ## 関連 - ソース: [[@2022__arXiv__Will we run out of data? Limits of LLM scaling based on human-generated data]] / [[@2025__EMNLP__Demystifying Synthetic Data in LLM Pre-training - A Systematic Study of Scaling Laws, Benefits, and Pitfalls]] / [[@2025__arXiv__Scaling Laws of Synthetic Data for Language Models]] / [[@2026__Findings-EACL__Scaling Data-Constrained Language Models with Synthetic Data]] - 概念: [[データ枯渇]] / [[モデル崩壊]] / [[スケーリング則]] / [[データ制約下でのスケーリング]] ## 出典 -