# 事前学習目的設計 ## 定義 事前学習目的設計(Pretraining Objective Design)は、言語モデルが大規模コーパスで学ぶべき目的関数の選択と設計である。代表的な系統は次の 3 つに分類される。 - **自己回帰型(autoregressive)**: 左から右への次トークン予測(GPT 系統)。長文生成と少数事例学習に強い一方、NLU では文脈の右側情報を扱えない欠点を持つ。 - **自己符号化型(autoencoding)**: マスク言語モデル(BERT 系統)。双方向の文脈を捉え NLU に強いが、生成タスクには直接適用しにくい。 - **エンコーダ-デコーダ型(encoder-decoder)**: 条件付き生成(T5、BART)。NLU・生成の両方に適用可能だが、パラメータ効率(エンコーダとデコーダの両方を要する)で劣る。 [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling|GLM]] の [[自己回帰空白埋め]] は、これら 3 系統のいずれもが「全 NLU タスクは生成タスクである(`All NLP tasks are generation tasks` — [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]] Figure 1)」という観点から、単一目的関数で 3 系統のタスク種をすべて扱える設計を提案した。 (Source: [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]] §1) 現代の大規模 LLM(数百 B 規模 MoE)では、事前学習の目的関数自体は標準的な次トークン予測に収束する傾向があるが、データ混合・カリキュラム・スパン破壊の補助目的の使い方など、より広い意味での事前学習設計が研究の中心となっている。 ## 横断的知見 - **補助目的関数によるハイブリッド損失設計は、GLM の空白埋め統一化とは独立に、GPT-1 の半教師あり学習でも(異なる目的で)採用されている**。GLM は「全 NLU タスクは生成タスクである」という統一化のために単一目的関数(自己回帰空白埋め)を設計するのに対し、GPT-1 論文([[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]])はファインチューニング時に教師あり損失 $L_2$ だけでなく補助的に教師なし言語モデリング損失 $L_1$ を $\lambda$ で重み付けして加える半教師あり損失 $L_3 = L_2 + \lambda L_1$(式4.4)を採用する。両者とも「単一の目的関数だけでは不十分」という共通の前提に立つが、GLM は複数タスク種(NLU/生成/条件付き生成)を単一目的関数に統一する方向、GPT-1 は単一目的関数(自己回帰)を維持しつつ補助損失で複数の目的(下流タスク性能+事前学習で得た汎化能力の保持)を両立させる方向という、逆方向のアプローチを取っている。『原論文から解き明かす生成AI』第4章は、この補助損失の効果が「大きなデータセットでは補助目的関数が助けとなり、小さなデータセットでは助けとならない」というGPT-1原論文の観察を紹介しており、これは本ページの未解決の問い(補助目的関数の効果がデータセット規模に依存する原因)に対する原論文自身の経験的示唆として読める。(Source: [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]], [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.1.1) - **「事前学習目的の単純さ」と「大規模化への適応力」はトレードオフではなく、GPT系列では両立する方向に進化した**。GPT-1 は次トークン予測(自己回帰)に補助損失を加えるハイブリッド設計だったが、GPT-2・GPT-3 では補助損失を用いずに単一の次トークン予測のみで事前学習し、代わりにデータ規模とモデル規模を拡大することで性能を高めるという方向に転換した。『原論文から解き明かす生成AI』第4章はこの転換を、GPT-2論文の「より大規模なデータを使って学習することだと考えられる」という記述から追っている。目的関数設計の複雑化ではなくスケールの拡大で性能を伸ばすという選択は、GLM のような目的関数の巧妙な統一化とは対照的な、事前学習目的設計における「単純さを保ってスケールで解決する」というもう1つの設計思想を示す。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.1.1, §4.1.2, [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]]) - **『ディープラーニングを支える技術〈2〉』第5章は、自己回帰型(GPT系)と自己符号化型(BERT)という2大目的設計の分岐を「モダリティの離散性・連続性」というより一般的な原理の一事例として位置づける**: 本ページはGLM・GPT-1の比較を通じ「単一目的関数か複数目的の統一か」という設計軸を扱ってきたが、同章はさらに広い枠組みとして、予測型(自己回帰・マスク予測など次に来るものを当てる目的関数)と対比型(正例・負例の類似度を学習する目的関数)という2系統を提示し、テキストは離散値でありSoftmaxで多峰性のある予測分布を表現できるため予測型(自己回帰・BERT型マスク予測)が有効だが、画像・音声は連続量かつ高次元で多峰性の直接表現が難しいため対比学習が選好されると説明する。GLMの「自己回帰空白埋め」やGPT-1の目的関数選択は、この枠組みで言えば「離散データに対する予測型目的関数」という共通のカテゴリに属し、両者の対立(単一統一目的 対 補助損失付き自己回帰)は同一カテゴリ内でのバリエーションにすぎないことが分かる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1, [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]], [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]]) - **同章はGPT-3の事前学習設計について、目的関数そのもの(自己回帰による次単語予測)は単純なまま据え置き、代わりに「事前学習後の適応方法」を設計する側に踏み込んでいる点で、本ページが扱ってきた目的関数設計とは異なる軸の設計判断を示す**: 本ページが既存の横断的知見で指摘した「GPT-2・GPT-3では補助損失を用いずに単一の次トークン予測のみで事前学習し、データ・モデル規模の拡大で性能を高める」という転換(スケールで解決する設計思想)に対し、同章はさらに「条件付け生成によるFew-Shot/Zero-Shot学習」という適応方法の設計がGPT-3のもう一つの核心だったと位置づける。これは、事前学習の目的関数設計の単純化(自己回帰のみ)と、下流タスクへの適応方法の設計(ファインチューニング不要の条件付け生成)が独立した2つの設計軸であり、GPT-3は前者を単純化しつつ後者を刷新したという二軸構造を示唆する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] §5.1, [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.1.2) ## 未解決の問い - 「Encoder-Decoder か Decoder-Only か」「Span Corruption か Next-Token Prediction か」というアーキテクチャ・目的関数選択は、現代の数百 B〜兆規模 LLM では Decoder-Only + Next-Token に収束しつつあるが、コーディング・数学・推論等のタスク別では他の目的関数が優位な可能性が残る - 事前学習目的関数の差異が後段の RL / instruction tuning 後の最終性能にどれだけ転移するかは、訓練コストの大きさから直接比較が稀 - GPT-1 の補助損失 $\lambda L_1$ が「大きなデータセットで有効・小さなデータセットで無効」という経験則の背後にあるメカニズムは何か。GLM のような単一統一目的関数の設計であれば、この規模依存性は原理的に回避できるのか、それとも統一目的関数にも同様の規模依存性が潜在するのか。 ## 関連 - ソース: [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]] / [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] / [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] - 概念: [[言語モデル事前学習]] / [[自己回帰空白埋め]] / [[スパン破壊]] / [[Transformer]] - エンティティ: [[Tsinghua University]] ## 出典 - [[@2022__ACL__GLM - General Language Model Pretraining with Autoregressive Blank Infilling]](§1 Introduction、Figure 1) - [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]](式4.4 半教師あり学習損失) - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第4章 §4.1.1, §4.1.2. - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第5章, §5.1.