# Scaling Laws of Synthetic Data for Language Models Navigation: [[index]] | [[合成データ]] | [[スケーリング則]] > [!abstract] 概要(abstract の日本語訳) > 大規模言語モデル(LLM)は、事前学習に使われる高品質なウェブデータによって、多様なタスクで高い性能を達成している。しかし、近年の研究はウェブデータが急速に枯渇しつつあることを示している。合成データは有望な代替手段として登場しているが、合成データセットが原始的な事前学習データに匹敵する予測可能なスケーラビリティを示すかどうかは、これまで明らかではなかった。本研究では、事前学習コーパスを多様で高品質な合成データセットへ変換するスケーラブルなフレームワークである SYNTHLLM を導入することで、合成データのスケーリング則を体系的に調査する。我々の手法は、グラフアルゴリズムを用いて複数の文書にまたがる高レベルの概念を自動的に抽出・再結合することで、これを実現する。数学ドメインにおける SYNTHLLM の実験から得られた主要な発見は次のとおりである。(1) SYNTHLLM は、様々なモデルサイズにわたって rectified scaling law に確実に従う合成データを生成する。(2) 性能向上は 300B トークン付近で徐々に頭打ちになる。(3) より大きなモデルは、より少ない学習トークン数で最適な性能に到達する。例えば、8B モデルは 1T トークンでピークに達する一方、3B モデルは 4T トークンを必要とする。さらに、既存の合成データ生成手法・拡張手法との比較により、SYNTHLLM が優れた性能とスケーラビリティを達成することが示された。我々の発見は、合成データがモデル性能の継続的な改善に向けた実行可能な道筋を提供する、スケーラブルで信頼できる原始的事前学習データの代替手段であることを浮き彫りにする。 ## 論文情報 - タイトル: Scaling Laws of Synthetic Data for Language Models - 著者: Zeyu Qin¹² (Microsoft / HKUST), Qingxiu Dong¹³ (Microsoft / Peking University), Xingxing Zhang¹, Li Dong¹, Xiaolong Huang¹, Ziyi Yang¹, Mahmoud Khademi¹, Dongdong Zhang¹, Hany Hassan Awadalla¹, Yi R. Fung² (HKUST), Weizhu Chen¹, Minhao Cheng⁴ (Penn State University), Furu Wei¹(いずれも Microsoft、一部は HKUST・北京大学・Penn State University との共同) - 媒体: COLM 2025(Conference on Language Modeling)採択論文、arXiv preprint(初版 2025年3月、v3 2025年10月) - URL: https://arxiv.org/abs/2503.19551 - ページ数: 24 ## 概要 本論文は、ウェブデータの枯渇が懸念される中で、合成データ(synthetic data)が原始的な事前学習データと同様に予測可能なスケーリング則に従うかを、初めて体系的に検証したものである。そのために SYNTHLLM という、事前学習コーパスから高品質・高多様性の合成データを大規模に生成するフレームワークを提案し、数学推論ドメインで継続学習実験を行っている。 ## 問題設定 - 高品質な事前学習データの供給は急速に減少しており、従来のスケーリング手法は将来的に収穫逓減に直面する可能性がある。 - 合成データは有望な代替とされてきたが、合成データが自然な事前学習データと同様の予測可能なスケーリング則に従うかどうかは未解明だった。 - 従来の合成データ生成手法は、対象ドメインの限られた人手アノテーション付きシード例に大きく依存しており、生成できるデータセットの多様性とスケーラビリティが根本的に制約されていた。 ## 提案手法 SYNTHLLM は 3 段階から成る(全体構成は図2(Figure 2)、質問生成 3 手法の模式図は図3(Figure 3)に示されている。いずれも本文中に図として掲載された構成図であり、PDF から抽出可能な独立画像アセットが無いため本ページには埋め込まず、以下の文章で内容を再現する)。 1. **参照文書の絞り込み(Reference Documents Filtering)**: 対象ドメイン(例: 数学)の高品質なウェブ文書を Fineweb-Edu から自動的に絞り込む。まず GLAN(Li et al., 2024b)の 126 分野にわたるシラバスを用いて合成文書(ブログ記事・試験問題・教科書)を生成し、それを正例、Fineweb-Edu からのランダムサンプルを負例として cold-start ドメイン分類器(ランダムフォレスト、StableLM-2-1.6B の埋め込みを利用)を学習する。続いて GPT-4o による 1〜10 のスコアリングを教師信号として fine-grained 分類器を反復的に学習し、閾値 6.5 以上の文書を採用する(経験的に2反復で十分)。 2. **文書に基づく質問生成(Document-Grounded Question Generation)**: 多様性を段階的に高める 3 手法を用いる。 - **Level-1**: 単一の参照文書から既存の質問を抽出・言い換え、または新規質問を生成する直接抽出方式(Yue et al., 2024 など先行研究と同系統)。参照文書中の質問の有限性に制約される。詳細なプロンプトは付録の図7(Figure 7)に示されている。 - **Level-2**: 教育学的手法にヒントを得て、まず文書からトピックと重要概念の集合 K を抽出し(抽出プロンプトは図10(Figure 10)、抽出例は図11(Figure 11)・図12(Figure 12)にトリゴノメトリ・ベクトル解析の実例として示されている)、続いてそこからランダムに部分集合 ks を選択・組み合わせて質問を生成する(式: x = M_Q(p_q, R(K), d)、質問生成プロンプトは図8(Figure 8))。単一文書内での多様性を高める。 - **Level-3**: Level-2 をグローバルに拡張し、全文書にまたがるトピック・重要概念のグラフ G(トピック-トピック・トピック-重要概念・重要概念-重要概念の3種の辺、共起頻度に基づく重み)を構築する。トピック部分グラフ上のランダムウォークで概念の組み合わせを抽出し、Jaccard 類似度で最も関連する2文書を根拠として選び、複数文書に横断的に接地(grounding)した質問を生成する(プロンプトは図9(Figure 9))。 3. **回答生成(Answer Generation)**: Qwen2.5-Math-72B-Instruct のようなオープンソース LLM を回答生成器として用いる。追加の回答検証は行っていない(予備実験で十分な品質が確認されたため)。 ## 新規性 - 合成データのスケーリング則を体系的に調査・実証した初めての研究であると位置づけている。 - 従来の直接抽出・back-translation ベースの手法に対し、複数文書にまたがる概念グラフのランダムウォークによる概念再結合という手法で、限られた参照文書からより多様で高品質な質問を大規模かつスケーラブルに生成する。 - GLAN(Li et al., 2024b)のシラバスに着想を得つつ、各概念集合 K を具体的な参照文書に接地(grounding)させている点が GLAN との違いである。 ## 実験設定 - 学習対象: Llama-3.2-1B, Llama-3.2-3B, Llama-3.1-8B のベースモデルに対する継続学習(continued training)。 - 質問生成器 M_Q: Mistral-Large-Instruct-2407。回答生成器 M_A: Qwen2.5-Math-72B(コードドメインでは Qwen2.5-Coder-32B-Instruct)。 - フィルタ後、約 520K の数学文書を収集。Level-1/Level-2 は文書あたり5問、Level-3 は概念集合 Kg あたり3問を生成し、それぞれ約2.3M・2.6M・2.6M サンプル(合計7.4M)を得た。 - スケーリング則の検証は、100K, 200K, 400K, 800K, 1.6M, 3.2M, 7.4M の段階的なデータサイズで学習し、MATH データセット(Hendrycks et al., 2021)のエラー率で評価。評価指標としては GSM8K, MATH, Minerva, OlympiadBench-Math, CollegeMath, Gaokao 2023 En も用いている。 - 比較対象: MAmmoTH2, JiuZhang3.0, NaturalReasoning, OpenMathInstruct-2、および Llama Instruct・NuminaMath-CoT の各サイズモデル。加えて rephrase 拡張・persona 拡張との比較も行っている。 ## 実験結果 - **スケーリング則への適合(図1(Figure 1))**: 1B・3B・8B のいずれのモデルでも、合成データのトークン数に対するエラー率が rectified scaling law(Lin et al., 2024; L(D) = B/(D_l^β + D^β) + E)に良く適合する。フィットされた式は 1B が L(D) = 1.58e5/(1.77e3 + D^0.34) + 18.52、3B が L(D) = 3.72e6/(4.97e4 + D^0.51) + 14.2、8B が L(D) = 1.64e6/(2.91e4 + D^0.51) + 16.17 であった。マージナル形(Eq. 3)ではフィットに失敗しており、事前学習で獲得済みの数学的問題解決能力が存在するためと考察している。 ![[fig01a-scaling-curve-1b.png]] ![[fig01b-scaling-curve-3b.png]] ![[fig01c-scaling-curve-8b.png]] - **モデルサイズの影響**: 1B モデルの減衰指数 β は 0.34 と、3B・8B(いずれも 0.51)より小さく、合成データ拡大の恩恵が相対的に小さい。3B・8B が同一の β を持つことは、性能差が主に初期知識・モデル容量の違いに由来し、合成データのスケーリング効率自体の差ではないことを示唆する。 - **予測性能**: 3B・8B モデルについてフィットした曲線で 4.5B 合成トークン時点のエラー率を予測したところ、それぞれ 40.0%・28.7%(精度 60.0%・71.3%)と実測に近い予測ができた。さらに外挿すると、約300Bトークンを超えると性能向上が逓減し始める(表1(Table 1))。3B モデルは性能上限に近づくのに約4Tトークン、8Bモデルは約1Tトークンを要すると推定している。 - **ベンチマーク性能(表2(Table 2))**: SYNTHLLM は OpenMathInstruct-2・MAmmoTH2・JiuZhang3.0・NaturalReasoning などの既存合成数学データセットを一貫して上回る。SYNTHLLM-8B(7.4M)は GSM8K 92.1%・MATH 71.3% を達成し、Llama-3.1-70B-Instruct や NuminaMath-CoT-72B など、より大規模なモデルにも匹敵・凌駕する結果を示した。 - **アブレーション**: 1B・3B モデルでの直接抽出(Level-1)対概念再結合(Level-2・Level-3)の比較(表4(Table 4))では、3B モデルで Level-2・Level-3 が Level-1・指示チューニング版を全ベンチマークで有意に上回った。さらに Level-2・Level-3 は Level-1 や rephrase・persona 拡張より高い多様性(図4(Figure 4): 文書内質問間コサイン類似度のヒストグラム)と、拡張しても性能が飽和しにくいスケーラビリティ(図5(Figure 5)a, b)を示した。 ![[fig04-question-similarity-histogram.png]] ![[fig05a-math-accuracy-augmentation-compare.png]] ![[fig05b-average-accuracy-augmentation-compare.png]] - **付録の検証(図6(Figure 6))**: Llama-3.2-3B に対し、rectified scaling law とマージナルなべき乗則(marginal power law)のフィットを比較したところ、rectified scaling law の方が予測精度に優れていた。これは本文で rectified scaling law を採用する根拠になっている。 ![[fig06-rectified-vs-marginal-fit.png]] - **コードドメインへの予備実験(表3(Table 3))**: HumanEval・MBPP において、Level-1のみのモデルよりLevel-1〜3を統合したモデル(SYNTHLLM Level-123)が大きく上回り、指示チューニング済みモデルを超え、コード特化モデル(Deepseek-Coder-v1.5-Instruct)に匹敵する性能を示し、数学ドメイン以外への汎化可能性を示唆した。 ## 考察 - 合成データが従来の事前学習データと同様に予測可能なスケーリング則(具体的には rectified scaling law)に従うことを実証した点が中心的な貢献である。これにより、事前学習データが枯渇しても合成データの体系的な拡大によって性能改善を持続できる見通しが得られる。 - 現状では文書あたり質問数がLevel-1/2で5問、Level-3で3問と少なく、各文書の潜在能力を十分に活用していない。質問生成数を単純に増やすことでさらなる性能向上が見込めるとしている。 - 数学・コード以外のドメイン(物理学、法律、金融など)への拡張は今後の課題としている。 ## 強み / 弱点・課題 - 強み: 合成データのスケーリング則を体系的に検証した初の研究であり、モデルサイズ別のフィット結果まで定量的に示している。概念グラフに基づく Level-3 手法は、既存の直接抽出・拡張手法に対する明確な多様性・スケーラビリティの優位性をアブレーションで裏付けている。 - 弱点・課題: 数学ドメインが主実験対象であり、コードドメインは予備実験にとどまる。回答検証(answer verification)を導入していない点は、著者自身も追加の品質改善余地として認めている(付録 C.3 では検証を入れても限定的な向上しか得られなかったと報告している)。スケーリング則のフィットに使われるデータ点数はモデルあたり7点程度であり、外挿の信頼区間などの統計的な不確実性評価は本文中では明示されていない。 ## 関連 - [[合成データ]] — SYNTHLLM の概念グラフによる質問生成手法と、rectified scaling law への適合という知見を追加。 - [[スケーリング則]] — organic data の Chinchilla 則・rectified scaling law(Lin et al., 2024)を合成データに適用した実証結果を追加。 - [[Furu Wei]] / [[Zeyu Qin]] / [[Microsoft]] / [[Peking University]] / [[Hong Kong University of Science and Technology]] / [[Penn State University]] ## 出典 - .raw/papers/arxiv-2503.19551.pdf - .raw/papers/arxiv-2503.19551.txt - https://arxiv.org/abs/2503.19551