# GPT-2 ## 概要 GPT-2 は [[OpenAI]] が 2019 年に発表した 1.5B パラメータの Transformer ベース言語モデルである。[[WebText]]（約 40GB のウェブテキスト）で訓練され、ゼロショット（明示的な教師信号なし）で多様な NLP タスクを解けることを実証した。テストした 8 つの言語モデリングデータセットのうち 7 つでゼロショット SOTA を達成し、教師なしマルチタスク学習の可能性を示した。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]) ## アーキテクチャ GPT-1 の Transformer アーキテクチャを基盤とし、以下の変更を加えている。 - **レイヤー正規化の位置**: 各サブブロックの入力側に移動（Pre-LN 構成）。最終セルフアテンションブロックの後に追加のレイヤー正規化を配置。 - **残差接続のスケーリング**: 残差層の重みを初期化時に $1/\sqrt{N}$（$N$ は残差層数）でスケール。 - **語彙**: 50,257 トークン（バイトレベル BPE）。 - **コンテキスト長**: 1,024 トークン（GPT-1 の 512 から拡大）。 - **モデル規模**: 48 層、$d_{\text{model}}=1600$、1,542M パラメータ。 4 つのサイズ（117M / 345M / 762M / 1542M）が訓練され、最大モデルが GPT-2 と呼ばれる。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]) ## 主要な実験結果 - 8 つの言語モデリングデータセットのうち 7 つでゼロショット SOTA を達成。 - LAMBADA: パープレキシティ 8.63、精度 63.24%。 - CoQA（読解）: 教師なしで 55 F1。 - Winograd Schema Challenge: 70.70%（7 ポイント改善）。 - ゼロショット性能はモデル規模に対して対数線形に改善。 - 訓練・検証の双方で WebText をアンダーフィットしており、さらなるスケールアップの余地を示唆。 (Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]) ## 位置付け GPT-2 は GPT-1（2018, 117M パラメータ）を 10 倍以上にスケールアップしたモデルであり、「教師なしマルチタスク学習」という概念を実証的に確立した。ゼロショット性能とモデル規模の対数線形関係の発見は、後続の GPT-3 やスケーリング則研究の基盤となった。 ## 解説書での位置づけ(第5章) 『ディープラーニングを支える技術』第5章は、GPT-2をBERTと対比される自然言語処理の事前学習の代表例として位置づける。BERTがマスク言語モデリング(前後の文脈からのマスク単語予測)による事前学習であるのに対し、GPT-2/GPT-3は言語モデル(自己回帰モデル)を使い、文脈を入力として次の単語を予測できるよう学習された結果得られる表現を利用する点が異なると整理する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3) ## 解説書での位置づけ(第4章) 『原論文から解き明かす生成AI』第4章は、GPT-2 を「複数タスクモデル」としての側面から読み解く(GPT-1・GPT-2 = 複数タスクモデル、GPT-3・GPT-4 = 生成モデル、という本書の分類)。原論文の動機を「GPT-1 が発見した、言語モデルの事前学習によって様々なタスクがゼロショットで解ける、という方向性を深めること」と整理し、WebText の構築過程(Reddit 由来の外部リンクを 3 karma 以上でフィルタし、Dragnet・Newspaper でテキスト抽出、Wikipedia を評価データリーク回避のため除外、2017年12月以前のリンクのみ使用、最終的に40GB・約800万件)を詳細に追う。また、ブルームフィルター(偽陽性確率上限 $10^{-8}$)によるデータ重複検証で、同一タスクの学習・テストデータ間の重複が全体的に目立つという原論文の「Somewhat surprisingly」という評を紹介し、これを「大量のデータで学習する生成 AI モデルの評価を難しくする要因」と位置づける。要約タスクの "TL;DR:" 区切りトークンや翻訳タスクの例示付き入力を、本書は「4.2.1 項で扱う文脈内学習の萌芽」と明示的に位置づけている。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.1.2) ## 関連 - ソース: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]] / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] / [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] / [[@2026__arXiv__OPUS - Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration]] - 組織: [[OpenAI]] - データセット: [[WebText]] - 概念: [[LLMスケーリング則]] / [[言語モデル事前学習]] / [[文脈内学習]] - 対比: [[BERT]] - 人物: [[Alec Radford]] / [[Jeffrey Wu]] / [[Rewon Child]] / [[Dario Amodei]] / [[Ilya Sutskever]]