# Scaling Data-Constrained Language Models with Synthetic Data Navigation: [[index]] | [[overview]] > [!abstract] 概要 > 大規模言語モデル(LLM)はより多くの訓練データによって性能が向上するが、データ収集の実務上の限界がさらなるスケーリングをますます制約している。指示追従型 LLM の進歩により、制御された高品質なテキスト生成が可能になり、合成データが有望な代替策となっている。しかし、非英語 LLM の事前学習における合成データの有効性は十分に検討されていない。本研究では、この問いを固定トークン予算設定における日本語について検討する。この設定ではオーガニック(訳注: 人間が実際に書いた)日本語 Web テキストが予算のごく一部を占めるに過ぎない。データ不足を埋めるための 3 つの戦略を比較する: 合成日本語テキストを生成する、限られた日本語 Web テキストを反復する、英語 Web テキストを使用する。実験の結果、合成日本語コーパスは両ベースラインを上回り、トークン予算全体を追加のオーガニック日本語 Web テキストで満たした場合の性能に近づくことが示された。 ## 論文情報 - 著者: Hirokazu Kiyomaru・Yusuke Oda・Takashi Kodama・Chaoran Liu(以上 [[Research and Development Center for LLMs]], [[National Institute of Informatics]])・Daisuke Kawahara([[National Institute of Informatics]] / [[Waseda University]]) - 媒体: Findings of the Association for Computational Linguistics: EACL 2026, paper #52 (pages 1002–1016) - URL: https://aclanthology.org/2026.findings-eacl.52.pdf - 公開合成コーパス: https://huggingface.co/datasets/llm-jp/scaling-data-constrained-llms > [!note] タイトルの類似に関する注記 > 本論文のタイトルは [[@2025__JMLR__Scaling Data-Constrained Language Models]](Muennighoff et al., 2023 発表・2025年 JMLR 掲載)と酷似しているが別論文である。[[@2025__JMLR__Scaling Data-Constrained Language Models]] は英語中心の多エポック学習によるデータ制約下スケーリング則(反復データの価値が指数関数的に減衰する定式化)を扱う原典であり、本論文はその問題設定を**日本語 LLM 事前学習への応用**として引き継ぎ、合成データによる拡張戦略を比較する後続研究である(本文 §2.1 で Muennighoff et al., 2023 を関連研究として引用)。両論文の知見は整合的である: 本論文の「JA-WEB-9B の多エポック反復は JA-WEB-63B より一貫して劣る」という結果は、[[@2025__JMLR__Scaling Data-Constrained Language Models]] が示す「反復データの価値は指数関数的に減衰する」という知見と符合する。 ## 概要 日本語 LLM をゼロから事前学習する際、72B トークンの固定予算のうちオーガニック日本語 Web テキストは 9B トークンしか用意できず、残り 63B トークンをどう埋めるかを比較検証した研究。比較対象は (1) 合成日本語テキスト(パラフレーズ・指示形式・翻訳の 3 種)、(2) 限られた日本語 Web の反復(多エポック学習)、(3) オーガニック英語 Web テキストの直接利用、および参照点として (4) 追加オーガニック日本語 Web テキストで満たすオラクル設定、の 4 系統。1.8B・3.8B・7.2B パラメータの 3 モデルサイズで実験している。 ## 問題設定 - 日本語のような中規模言語では、Common Crawl 全体を集約しても高々数百億トークン程度しか高品質な言語データが得られず、英語のような数兆トークン規模には遠く及ばない([[データ枯渇]]の言語間不均衡)。 - 本研究は「オーガニック日本語 Web テキストが予算のごく一部(9B/72B)しかなく、一方でオーガニック英語 Web テキストと、流暢な日本語を生成できる指示追従型 LLM は豊富に利用できる」という、非英語 LLM 開発で典型的な制約を模した設定を作り、事前学習コーパスの最適な構成を探る。 - 評価基準: [[llm-jp-eval]] フレームワークによる JSQuAD・NIILC・JEMHopQA・ALT の 4 タスク(下流タスク性能)。 ## 提案手法 Figure 3 が合成パイプラインの全体像である。シードコーパスからシード文書をサンプリングし、プロンプトライブラリからプロンプトテンプレートをサンプリングして具体的なプロンプトを構成し、[[Qwen3]]-14B(合成器・シンセサイザー)に条件付けて日本語合成テキストを生成する。Figure 2 が比較する 6 種のコーパス構成の全体像である。 **Figure 1: 実験設定の全体像** ![[_attachments/2026.findings-eacl.52/fig01-setup.png]] (72B トークンの固定予算のうち、日本語オーガニック Web テキストは 9B トークンのみ。残り 63B トークンを各種の augmentation で埋め、日本語 LLM を事前学習して下流タスク(QA・RC・MT)で評価する。) **Figure 2: 比較する 6 種のデータ拡張戦略の全体像** ![[_attachments/2026.findings-eacl.52/fig02-augmentation-overview.png]] (JA-WEB-9B から合成する JA-PARAPHRASE-63B・JA-INSTRUCT-63B、EN-WEB-63B を翻訳する JA-TRANSLATE-63B、ベースラインの JA-WEB-9B 反復(×7)・EN-WEB-63B 直接利用、オラクル設定の JA-WEB-63B。) **Figure 3: JA-PARAPHRASE-63B の合成パイプライン** ![[_attachments/2026.findings-eacl.52/fig03-synthesis-pipeline.png]] (シード文書とプロンプトテンプレートを組み合わせてプロンプトを構成し、合成器(Synthesizer)に条件付けて合成テキストを生成する。他の合成コーパスもシードコーパスとプロンプトライブラリを変えることで同じ手順を適用する。) 1. **JA-PARAPHRASE-63B**: JA-WEB-9B(限定された日本語オーガニック Web、9B トークン)をパラフレーズして生成。Easy・Medium(Wikipedia 相当)・Hard・QA 形式の 4 スタイルでプロンプトテンプレートを用意(Maini et al., 2024 に従う)。 2. **JA-INSTRUCT-63B**: JA-WEB-9B の各文書に、文書に根拠づけられた QA ペアを付加して合成(Cheng et al., 2024 に従う)。Free-form・Multiple-choice・Free-form+CoT・Multiple-choice+CoT の 4 フォーマット。 3. **JA-TRANSLATE-63B**: EN-WEB-63B(オーガニック英語 Web、63B トークン)を日本語に翻訳して生成。 4. **ベースライン(反復)**: JA-WEB-9B を 8 エポック(8×9B=72B)反復する多エポック学習。 5. **ベースライン(英語直接利用)**: EN-WEB-63B をそのまま日本語コーパスに混ぜて事前学習(翻訳を挟まない)。 6. **オラクル設定 JA-WEB-63B**: 重複のない追加オーガニック日本語 Web テキスト 63B トークンで穴埋めする理想化設定。 いずれの設定でも JA-WEB-9B(9B トークン)を土台とし、残り 63B トークンを上記いずれかで埋めて、72B トークンの事前学習コーパスを構成する(図1、`fig01-setup.png`)。 ## 新規性 - 従来の合成データ研究(Maini et al., 2024; Cheng et al., 2024 等)はほぼ英語を対象としており、非英語(特に日本語)LLM 事前学習における合成データの有効性はほぼ未検証だった。本論文は日本語という「豊富な英語資源と流暢な日本語生成 LLM は使えるが、日本語オーガニックデータそのものは乏しい」条件下で、3 種類の合成戦略(パラフレーズ・指示形式・翻訳)を同一実験条件で横断比較した点が新しい。 - パラフレーズ・翻訳・QA 付加という個別技法自体は先行研究の踏襲だが、それらを**同一の合成器([[Qwen3]]-14B)・同一のデコーディングパラメータで統一**し、生成手法自体の差だけを比較できるよう統制している。 - 事前学習だけでなく事後学習(教師ありファインチューニング)後の性能まで追跡し、合成データの効果が事前学習由来の汎用的な言語モデリング能力向上によるものか、指示追従スタイルの学習によるものかを切り分けている。 - データ汚染(data leakage)を n-gram 重複で定量的に検証し、性能向上が汚染に起因しないことを確認している。 ## 実験設定 - モデル規模: 1.8B・3.8B・7.2B パラメータの Transformer(LLM-jp-3 系列の設定にほぼ準拠)。Hoffmann et al. (2022) の compute-optimal 基準に対しそれぞれ約 2×・1×・0.5× のトークン予算に相当。 - トークナイザ: LLM-jp-3 のサブワードトークナイザ(日本語・英語双方で妥当な分割となるよう構築されており、両言語間でトークン数を比較可能にする)。 - Web コーパス: JA-WEB-9B と JA-WEB-63B は [[FineWeb2]](Common Crawl 由来の多言語 Web コーパス)から、EN-WEB-63B は [[FineWeb]](英語 Web コーパス)からサンプリング。追加のフィルタリング・正規化は行わず、各データセット組み込みの前処理のみに依拠。 - 合成器: [[Qwen3]]-14B(非推論モード、temperature=0.6, top-p=0.95, top-k=20、vLLM でバッチ生成)。理由は日本語での高い性能と Apache-2.0 ライセンスの許容性。シード文書は 512 トークンのチャンクに分割して独立に合成し、パラフレーズ・翻訳は生成テキストを連結、指示形式は元文書末尾に QA を付加。 - 計算資源: 合成は NVIDIA H200 GPU 8基/ノードのクラスタで約 80 ノード日。事前学習は 1.8B/3.8B/7.2B でそれぞれ約 3/7/12 ノード日(H200×8/ノード)。 - 事後学習: llm-jp-eval のベンチマーク学習分割を集約した教師ありファインチューニングを、全事前学習済みモデルの最終チェックポイントに適用。 ## 実験結果 - Figure 4・Table 1: 全モデルサイズで JA-PARAPHRASE-63B と JA-INSTRUCT-63B が最良。両者はベースライン(JA-WEB-9B の反復、EN-WEB-63B の直接利用)を上回るだけでなく、オラクル設定 JA-WEB-63B に匹敵または上回った。 - JA-TRANSLATE-63B と EN-WEB-63B の比較はモデル規模依存の効果を示した: 1.8B モデルでは翻訳が明確に有利だが、3.8B・7.2B モデルではこの優位性がほぼ消失し、英語データを直接学習させても匹敵する性能になった(大規模モデルほど言語横断汎化能力が高いことを示唆)。 - JA-WEB-9B の多エポック反復は、一貫して JA-WEB-63B(追加オーガニックデータ)より性能が劣った(反復による収穫逓減、Muennighoff et al. 2023 の知見と整合)。 - Table 2: 事後学習後も JA-PARAPHRASE-63B と JA-INSTRUCT-63B が最良だが、ベースラインとの差はやや縮小した。これは事前学習時の改善の一部が軽量な事後学習でも再現できることを示唆する一方、残る差分は合成コーパスが汎用的な言語モデリング能力の向上にも寄与していることを示す。 - Table 3: 文字レベル 16-gram の重複に基づく汚染検知の結果、全設定で汚染はごくわずかで、合成データによる汚染の増加は見られなかった(JSQuAD の若干の汚染は Wikipedia 由来の性質上想定内)。 - Figure 5: 合成予算を部分的(27B・9B)にとどめ残りを複数エポック学習で埋めても、ほとんどの設定でフル予算合成と同等の性能を維持できた。ただし JA-PARAPHRASE-63B のみ、反復露出によりわずかな性能低下が見られた。 **Figure 4: 事前学習を通じた平均性能の推移(1.8B/3.8B/7.2B)** ![[_attachments/2026.findings-eacl.52/fig04-pretraining-curves.png]] (全モデルサイズで JA-PARAPHRASE-63B(青)・JA-INSTRUCT-63B(緑)が上位を占め、モデルが大きくなるほど両者と他手法の差が広がる。) **Table 1: 事前学習最終チェックポイントのタスク別性能** ![[_attachments/2026.findings-eacl.52/tab01-pretraining-results.png]] (太字はオラクル設定 JA-WEB-63B を除く最良値。全モデルサイズで JA-PARAPHRASE-63B が AVG 最良。) **Table 2: 事後学習(ファインチューニング)後のタスク別性能** ![[_attachments/2026.findings-eacl.52/tab02-finetuning-results.png]] (事後学習後も JA-PARAPHRASE-63B・JA-INSTRUCT-63B が優位を保つが、ベースラインとの差は事前学習時より縮小する。) **Table 3: 評価インスタンスの汚染(data leakage)割合** ![[_attachments/2026.findings-eacl.52/tab03-contamination.png]] (文字レベル16-gramの重複に基づく汚染検知。全設定で汚染はごくわずかで、合成コーパス由来の汚染増加は見られない。) **Figure 5: 部分合成+複数エポック学習時の平均性能の推移(1.8B)** ![[_attachments/2026.findings-eacl.52/fig05-partial-synthesis-curves.png]] (括弧内はサンプリングした合成トークン数。JA-PARAPHRASE-63B・JA-INSTRUCT-63B はいずれも部分合成(27B・9B)+複数エポックでフル予算(63B)とほぼ同等の性能に達する。) ## 考察 - 合成データによる性能向上の要因を分離するための事後学習実験は、パラフレーズ・指示形式コーパスの優位性が単なる指示追従スタイルの学習だけでなく、より汎用的な言語モデリング能力の向上にも由来することを示唆する。 - 部分合成+複数エポックで同等性能を達成できるという知見は、合成データ生成のコスト(データ制約下で合成に要する計算資源)を抑えつつスケーリングする実務的な指針になる。 - 著者らは非英語 LLM の事前学習に対する実務的指針として、(1) 小規模コーパスをただ複製するのではなくパラフレーズ・指示形式化で対象言語データを拡張すること、(2) 不足分を部分的に合成データで埋め適度なエポック数で学習することで、より大規模な合成予算に近い性能に到達できること、の 2 点を提示している。 ## 強み / 弱点・課題 **強み** - 合成器を Qwen3-14B に固定して条件を統制し、生成手法(パラフレーズ/指示形式/翻訳)自体の効果を比較可能にした実験設計。 - 事前学習・事後学習・データ汚染検証・部分合成のコスト効率という多角的な分析により、単一の性能表だけでなく効果の起源まで踏み込んでいる。 - 合成コーパスを公開しており(HuggingFace)、再現性・追試可能性が高い。 **弱点・課題(著者らの Limitations 節に基づく)** - 合成器を Qwen3-14B 単体に限定しており、他の合成器での頑健性は未検証(DatologyAI, 2025 はパラフレーズの効果が合成器選択に対して頑健と報告するが、本論文では直接検証していない)。 - 対象言語は日本語のみであり、他言語への一般化は未検証。 - パイプラインは対象言語に十分流暢な LLM へのアクセスを前提としており、低資源言語ではこの前提が成り立たない可能性がある。 ## 関連 - [[National Institute of Informatics]] / [[Research and Development Center for LLMs]] / [[Waseda University]] - [[Qwen3]](合成器として使用) - [[合成データ]] / [[データ制約下でのスケーリング]] - [[@2025__JMLR__Scaling Data-Constrained Language Models]](タイトルが類似する別論文。データ反復のスケーリング則の原典) ## 出典 - https://aclanthology.org/2026.findings-eacl.52.pdf - https://huggingface.co/datasets/llm-jp/scaling-data-constrained-llms