# 言語モデル事前学習 ## 定義 言語モデル事前学習（language model pre-training）は、大規模なラベルなしテキストコーパスで言語モデリング目的関数により汎用的な表現を学習し、その後、個別のタスクに教師あり微調整する二段階の転移学習パラダイムである。GPT-1 では Transformer デコーダを用いた自己回帰型言語モデリングで事前学習し、線形出力レイヤーの追加とタスク固有の入力変換のみで多様な下流タスクに転移できることを実証した。(Source: [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]]) ## BERT: マスク言語モデリングによる事前学習 『ディープラーニングを支える技術』第5章は、GPT系列(自己回帰型)と並ぶもう一方の事前学習パラダイムとしてBERT(Bidirectional encoder representations from transformers)を扱う。BERTはコーパス中の連続する文を境界記号でつなげ、その一部の単語(全体の15%程度)をランダムにマスク記号へ置き換え、マスクされた単語を予測するタスクで事前学習する。正解(マスク前の元の単語)が常にコストなしで手に入るため大量の注釈なしテキストで学習でき、この予測タスクを解く過程で文全体のトピック理解が副産物として得られる。事前学習時は文の一部がマスクされた入力を、下流タスクではすべての入力を使うという分布の違いに対処するため、予測対象単語をすべてマスク記号に置き換えるのではなく一部はそのまま残し一部はランダムな単語に置き換える。同書はBERTが成功した理由として、(1) Transformer(復号部のみ)による自己注意機構が全結合層・畳み込み層を超える表現力を持つこと、(2) 前後の文脈を使うことで(次の単語のみを予測する従来の言語モデルより)深い文理解が得られること、(3) 教師情報が不要な大量のテキストデータと大きなモデル・計算資源が利用可能になったこと、の3つを挙げる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3) ## GPT-2/GPT-3のスケーリング則(第5章での言及) 同書は、GPT-3が投入する学習データ量・計算リソース量・モデルサイズと自己回帰モデルの対数損失との間にべき乗則(スケーリング則)が成り立ち、さらにこの対数損失と後続タスクの性能との間に強い相関があると述べる。GPT-3は条件付け生成により、新しいタスクを数例の訓練事例(Few-Shot)、あるいは1つも訓練事例を使わずに(Zero-Shot)学習できると報告されており、同様の現象は自然言語処理以外の画像認識などのタスクでも確認されている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3) ## 事前学習パラダイムを分岐させる原理(『ディープラーニングを支える技術〈2〉』第5章) 前書(『ディープラーニングを支える技術』第5章)がBERT・GPT-3の個別の成功理由を扱うのに対し、続編第5章はより一般的な問いとして「なぜ自己回帰型(GPT系)とマスク予測型(BERT)という2つの事前学習パラダイムが並立するのか」を論じる。同章は自己教師あり学習全体を予測型(過去から未来を予測、または入力の一部を隠し残りから予測)と対比型に大別した上で、テキストは離散値でありSoftmaxで多峰性のある予測分布を表現できるため予測型の事前学習(自己回帰・マスク予測)が有効であると説明する。GPT-3自身については、事前学習後のタスク適応方法として、通常のファインチューニング(訓練事例による勾配降下法でのモデル全体更新)を行わず、タスクの指示文・事例・入力を並べる「条件付け生成」でFew-Shot/One-Shot/Zero-Shotに対応する点が本質的な革新だったと位置づける。この知見の背景には、自己回帰モデルの学習データ量・計算量・モデルサイズとテスト誤差(さらに後続タスク性能)の間に成り立つべき乗則(スケーリング則)の発見があったと同章は説明する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) ## 横断的知見 - **事前学習コーパスの制御は、モデル規模と同じく開発上の主要な設計対象である**: [[PLaMo-100B]]では、公開データセットを組み合わせるだけでなく、Common Crawlから日本語HTML・テキストを抽出し、構造を保ったままMarkdown化、フィルタリング、重複除去、再シャーディングする独自パイプラインを構築した。権利侵害の疑いがあるBooks3を使わない判断も含め、性能だけでなくデータの出所と制御可能性を事前学習の要件としている。(Source: [[@2024__Preferred Networks__1,000億パラメータ規模の独自LLM「PLaMo-100B」の事前学習]]) - **IaaS概念のInclusiveness・Abundanceは、GPT-1がBooksCorpusのみを使用した点から生じる「事前学習コーパスの規模・多様性が転移能力に与える影響」という本ページの未解決の問いに、"何を多様化すべきか"という具体的な評価次元を与える**: [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.0 Data Management for LLM (DATA4LLM) - Overview]] が提案するIaaS概念のInclusiveness(ドメイン・タスク種別・データソース・言語・表現スタイル・モダリティの網羅)とAbundance(データ量の十分性とバランスの取れた構成)は、GPT-1論文が単一ドメインコーパス(BooksCorpus)のみで事前学習した後、GPT-2・GPT-3の系譜でコーパスが大規模化・多様化していった経緯(既出の横断的知見)を、事後的に評価するための具体的な次元を与える。同章はPre-training段階の実例として、RedPajama(1.2Tトークン、7ドメイン混合)やOBELICS(141Mテキスト+353M画像のインターリーブコーパス)のような複数ドメイン・複数モダリティを明示的に混合するデータセットを挙げており、GPT-1時代からの事前学習データの進化の方向性(単一ドメイン→多ドメイン・多モダリティの明示的な充足)を、IaaSという評価枠組み越しに確認できる(Source: [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]], [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.0 Data Management for LLM (DATA4LLM) - Overview]])。 - **本ページの「事前学習+微調整」→「事前学習+RLHF」というGPT系列のパラダイム変遷(既出の横断的知見)に対し、IaaS概念のフレームで見ると、両者は同じ「事前学習後の追加学習フェーズ」でありながら要求するデータ特性がSFTとRLで大きく異なる**: [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.0 Data Management for LLM (DATA4LLM) - Overview]] §2.2は、SFTが数千〜数百万件のinstruction-responseペア(応答にトーン・スタイル・推論ステップのガイドラインを含む)を要するのに対し、RLHFは数千〜数千万件の複数候補応答の人間選好ランキングを、RoRLは正誤フィードバックのみを要すると整理する。本ページのGPT-1(事前学習+微調整)からGPT-4/InstructGPT(事前学習+RLHF)への移行という既存知見は、この移行が単なる学習アルゴリズムの変更ではなく、アノテーションの形式(正解ラベル→選好ランキングまたは正誤信号)そのものを変える、データ調達コストの構造変化を伴っていたことを示唆する(Source: [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.2.2, §4.3.2, [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.0 Data Management for LLM (DATA4LLM) - Overview]] §2.2)。 - **前書第5章がBERTの成功理由を「自己注意機構の表現力・前後文脈・大規模データ計算資源」という3点で個別に説明するのに対し、続編第5章はこれをテキストという離散データに対する予測型自己教師あり学習の一事例として一般化する**: 前書はBERTがなぜGPTと異なるアプローチで成功したかを説明する3要因を挙げるが、なぜ「予測」という枠組み自体がテキストで有効なのかという、より根本的な問いには立ち入らない。続編第5章は、テキストが離散値でありSoftmaxで多峰性のある予測分布を扱える(A・Dという単語にそれぞれ0.4の確率を割り振れる)一方、画像・音声は連続量かつ高次元で多峰性の直接表現が困難だと説明し、これがBERT(予測型)が画像でなくテキストでまず成功した理由の一般原理を与える。前書が「BERTがなぜ成功したか」を、続編が「なぜ予測型自己教師あり学習がテキストで成立するのか」を担い、両者は同一著者による2冊の書籍でありながら異なる抽象度で補完し合う。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3, [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) - **前書はGPT-3のスケーリング則を既知の結果として引用するにとどまるが、続編第5章はスケーリング則の発見自体が「なぜ言語モデルによる表現学習が当初有効でなかったか」という問いへの答えだったと、発見の経緯を歴史的に位置づける**: 前書第5章は「GPT-3が投入データ量・計算量・モデルサイズと対数損失の間にべき乗則が成り立つ」という結果を述べるが、続編第5章はさらに、GPT-3登場以前は言語モデルを使った表現学習が他の表現学習手法に比べて精度面で大きく劣っていたこと、その原因を調べる過程でデータ・モデル・計算リソースをもっと増やす必要があるとわかったことという発見の経緯まで踏み込む。これはスケーリング則が単なる事後的な観察ではなく、「なぜ有望とされた手法(言語モデルの表現学習)が当初機能しなかったか」という具体的な謎を解く形で発見されたことを示す。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3, [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1) - GPT-1→GPT-2→GPT-3 の系譜は「事前学習＋微調整」（GPT-1）→「事前学習のみ、ゼロショット」（GPT-2）→「事前学習のみ、文脈内少数ショット」（GPT-3）というパラダイムシフトを示す。タスク固有の適応の必要性が段階的に低減し、事前学習そのものの規模が汎化能力を決定する構図が明確化した。(Source: [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]], [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]], [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - デコーダのみの [[Transformer]] アーキテクチャの選択が、言語モデリング目的関数（自己回帰）と自然に整合し、生成的事前学習パラダイムを可能にした。BERT（エンコーダのみ、マスク言語モデリング）との分岐点であり、GPT 系列がスケーリングにおいて優位に立った一因である。(Source: [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]], [[@2017__NeurIPS__Attention Is All You Need]]) - **本ページが既存ソース(GPT-1/2/3原論文)から導いた「自己回帰(GPT) 対 双方向マスク(BERT)」という分岐点の記述(上記2項目目)に対し、『ディープラーニングを支える技術』第5章はBERTがなぜ成功したかという3つの理由(自己注意機構の表現力、前後文脈の利用、大規模データ・計算資源)を与え、GPT-1/2/3原論文には明示的に書かれていないBERT側の内在的な成功要因を補う**。GPT系論文はBERTとの比較を性能表で示すにとどまるが、同書はBERTが「なぜGPTと異なるアプローチで同程度以上の成功を収めたか」を、表現力・双方向文脈・スケールという3軸で説明しており、本ページの「デコーダのみの選択がGPT系列の優位性の一因」という観察と対をなす「エンコーダのみの選択がBERT系列にもたらした利点」の記述として読める。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3, [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]]) - GPT-3原論文([[@2020__NeurIPS__Language Models are Few-Shot Learners]])はFew-Shot/One-Shot/Zero-Shotという文脈内学習の実験結果を詳細な数値(SuperGLUE平均71.8等)で報告するが、スケーリング則そのものの定式化(べき乗則)には深く立ち入らない。『ディープラーニングを支える技術』第5章はKaplan et al.(2020)のスケーリング則論文を明示的に引用し、データ量・計算量・モデルサイズと対数損失のべき乗則、および対数損失と下流タスク性能の相関という、GPT-3の成功をより一般的な法則として位置づける視点を補う。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3) - **GPT-1→GPT-2→GPT-3 の「事前学習のみへの移行」に続く第4の段階として、GPT-4/InstructGPT は「事前学習+RLHF」という新パラダイムを確立する**。本ページ既存の横断的知見は GPT-1(事前学習+微調整)→GPT-2(事前学習のみ、ゼロショット)→GPT-3(事前学習のみ、文脈内少数ショット)という段階を示すが、『原論文から解き明かす生成AI』第4章が読み解く GPT-4 Technical Report は「次トークン予測で事前学習された Transformer 型モデルであり、その後 RLHF でファインチューニングされた」という1文でモデル構成を説明しており、InstructGPT 論文([[@2022__NeurIPS__Training language models to follow instructions with human feedback]])と併せて読むと、事前学習で得た汎用能力を人間の選好で追加チューニングするという第4の段階(事前学習+RLHF)が GPT-3 以降のデファクトになったことが分かる。これは「事前学習のみ」に向かう単調な流れではなく、「事前学習で汎用能力を作り、追加の学習フェーズで望ましい振る舞いに整形する」という二段階構造への回帰(ただし今回は教師ありファインチューニングではなく強化学習)であり、GPT-1 の「事前学習+微調整」パラダイムと構造的に類似しつつ、微調整の中身が「タスク固有ラベル」から「人間の選好フィードバック」に置き換わった点が異なる。(Source: [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.2.2, §4.3.2) - **GPT-4 Technical Report は、原論文の技術詳細非公開という制約下でも「スケーリング則による性能予測」という別の検証様式を確立した**。GPT-4 は 1/1,000〜1/10,000 規模のモデルから次トークン予測の情報量やコーディングタスク合格率をべき乗則で予測し、実測がその曲線に乗ることを示した。これは、モデル構造・パラメータ数という「何を学習させたか」の情報公開に代わって、「どう性能が予測可能にスケールするか」という関数形の公開が、事前学習パラダイムの検証可能性を保つ新しい様式になっていることを示す。GPT-1〜GPT-3 論文がアーキテクチャ・データの詳細を公開して再現可能性を担保していたのに対し、GPT-4 はスケーリング則の予測精度という間接的な形で「大規模事前学習が予測可能に機能する」ことだけを示す。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.2.2) ## 未解決の問い - 1T級MoEの事前学習では100Bトークンに抑えて検証したため、モデル規模に対するデータ量の妥当性と、MoE固有のルーティング設計がtrain lossへ与える影響を切り分けられていない。(Source: [[@2024__Preferred Networks__1兆 (1T) パラメータ規模のLLMの事前学習検証]]) - 事前学習の目的関数として自己回帰（GPT）と双方向マスク（BERT）のどちらが最終的に優位か - 微調整なしでタスクを解く可能性（GPT-2・GPT-3 で後続研究が進んだ方向） - ~~事前学習コーパスの規模・多様性がモデルの転移能力に与える影響の定量化（GPT-1 は BooksCorpus のみを使用）~~ → **部分的に解決**: [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.0 Data Management for LLM (DATA4LLM) - Overview]] のIaaS概念(Inclusiveness・Abundance)は、多様性をドメイン・タスク種別・データソース・言語・表現スタイル・モダリティという評価可能な次元に分解する評価枠組みを与える。ただし各次元が転移能力にどの程度寄与するかの定量的な重み付けは同章でも示されていない。 - IaaS概念の4次元(Inclusiveness・Abundance・Articulation・Sanitization)のうち、事前学習段階の転移性能に対してどれが最も寄与するかは、[[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.0 Data Management for LLM (DATA4LLM) - Overview]] でも定量化されていない。GPT-3のスケーリング則(データ量・計算量・モデルサイズ)との関係はどうか。 - 補助的言語モデリング目的関数の効果がデータセット規模に依存する原因の解明 - BERTの3つの成功理由(表現力・双方向文脈・スケール)のうち、どれが最も寄与が大きいかは同書でも定量的に切り分けられていない。双方向文脈を持たないGPT系列が同程度の規模で同等以上の性能を達成した事実(GPT-3)は、この3要因のうち「スケール」が実は支配的である可能性を示唆するか。 - 続編第5章が示す「テキストは離散値だからSoftmaxで多峰性を扱え予測型が有効」という一般原理は、画像でも予測型(Masked AutoEncoder)が成功した事実とどう整合するか。MAEの成功は、この一般原理の反例なのか、それとも「パッチ単位に離散化すれば連続データでも予測型が機能する」という条件付きの拡張として理解すべきか。 ## 関連 - [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] - [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] — BERTの成功理由、GPT-3のスケーリング則 - [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] — 予測型/対比型という一般原理の中でのBERT・GPT-3の位置づけ、条件付け生成という適応方法の革新 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] — GPT-1〜GPT-4/InstructGPT の事前学習パラダイムの変遷を通しで読み解いた章 - [[@2025__arXiv__A Survey of LLM × DATA - Chapter 2.0 Data Management for LLM (DATA4LLM) - Overview]] — IaaS 概念(Inclusiveness・Abundance・Articulation・Sanitization)、事前学習段階のデータ特性(RedPajama・OBELICS 等) - [[Transformer]] - [[LLMスケーリング則]] / [[スケーリング則]] - [[自己教師あり学習]] / [[事前学習目的設計]] - [[BERT]] / [[GPT-2]] / [[GPT-3]] ## 出典 - [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第5章 §5.3. - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第5章, §5.1. - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第4章 §4.1, §4.2.