# GPT-3 ## 概要 GPT-3 は [[OpenAI]] が開発した 1,750 億パラメータの自己回帰言語モデルであり、従来の非スパースモデルの 10 倍の規模を持つ。[[GPT-2]] と同一の [[Transformer]] デコーダ型アーキテクチャを基盤とし、Sparse Transformer に倣った密な注意層と局所帯状疎注意層の交互配置を採用している。パラメータ更新を伴わない[[文脈内学習]]（少数ショット・ワンショット・ゼロショット）により、40 以上の NLP タスクにおいて強い性能を示し、一部では微調整された最先端モデルに匹敵する結果を達成した。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## アーキテクチャ - **基盤**: [[GPT-2]] と同一のアーキテクチャ（修正初期化、事前正規化、可逆トークナイゼーション） - **注意パターン**: Sparse Transformer に倣い、密な注意層と局所帯状（locally banded）疎注意層を交互に配置 - **パラメータ数**: 1,750 億（175B） - **コンテキスト窓**: 2,048 トークン（$n_{ctx} = 2048$） - **トークナイザ**: GPT-2 のバイトレベル BPE を再利用 - **モデルサイズ系列**: 125M、350M、760M、1.3B、2.7B、6.7B、13B、175B の 8 段階 - **並列化**: 深さ方向と幅方向の両次元でモデル並列分散 (Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## 訓練 - **データ**: フィルタリング済み Common Crawl（高品質参照コーパスとの類似性でフィルタ）、拡張版 WebText、Books1、Books2、英語版 Wikipedia をデータセット混合。言語比率は英語 93%、非英語 7%（単語数ベース）。文書レベルのファジー重複排除を実施。 - **ハードウェア**: V100 GPU クラスタ（Microsoft 提供） - **計算量**: 数千ペタフロップス/日 (Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## 主要な実験結果 | タスク | 設定 | GPT-3 | 従来 SOTA | |---|---|---|---| | LAMBADA（精度） | 少数ショット | 86.4% | 68.0% | | LAMBADA（パープレキシティ） | 少数ショット | 1.92 | 8.63 | | TriviaQA（精度） | 少数ショット | 71.2% | 68.0%（RAG） | | CoQA（F1） | 少数ショット | 85.0 | 90.7（微調整） | | SuperGLUE（平均） | 少数ショット K=32 | 71.8 | 89.0（微調整） | | COPA（精度） | 少数ショット | 92.0% | 94.8% | | ニュース記事人間判別 | 175B 生成 | 52%（偶然水準） | — | (Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## 規模の位置づけ(解説書での言及) 『ディープラーニングを支える技術』第1章の「数字で見るディープラーニングの今」(図1.A)は、GPT-3の学習データ量5000億トークンを、自然言語処理の初期の学習で使われていた100万単語程度(RNNベース言語モデル、2011年)との対比で、学習データ量の急拡大を示す代表例として引用する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]) ## スケーリング則と文脈内学習(第5章での言及) 第5章は、GPT-3が投入する学習データ量・計算リソース量・モデルサイズと自己回帰モデルの対数損失との間にべき乗則(スケーリング則、Kaplan et al. 2020を引用)が成り立ち、この対数損失と後続タスクの性能との間に強い相関があると述べる。GPT-3は条件付け生成により、新しいタスクを数例の訓練事例(Few-Shot)、あるいは1つも訓練事例を使わずに(Zero-Shot)学習できると報告されており、同様の現象は自然言語処理以外の画像認識などのタスクでも確認されているとする。BERT(マスク言語モデリング)と対比される、自己回帰言語モデルによる事前学習の代表例として位置づけられる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.3) ## メタ学習・疎な注意・文脈内学習(第4章での言及) 『原論文から解き明かす生成AI』第4章は、GPT-3 を「生成モデル」としての側面から読み解く。原論文が示すメタ学習(outer loop=事前学習の勾配降下、inner loop=推論時の[[文脈内学習]])という枠組みを紹介し、文脈内学習をゼロショット・ワンショット・少数ショットの3段階、タスク説明(task description)・例示(example)・プロンプト(prompt)という用語の使い分けとして整理する。アーキテクチャについては GPT-2 とほぼ同一だが Sparse Transformer(Child et al., 2019)に倣った密な注意層と局所帯状の疎な注意層の交互配置が異なる点を、本書は Sparse Transformer 原論文まで遡って strided attention・fixed attention の定式化とともに読み解く([[スパース注意]]・[[Transformer]]を参照)。事前学習データは Common Crawl のフィルタリング・重複排除・多様性向上(拡張版 WebText・Wikipedia 追加)を経て構築され、総トークン数約5,000億のうち質に応じた重み付きサンプリングで約3,000億トークンを使用したと本書は詳述する。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.2.1) ## 「ほぼ正しい」予測の例(11章での言及) 『機械学習システムデザイン』11章は、GPT-3がWebページの要件を入力として受け取り、そのページを描画するReactのソースコードを出力できる例(図11-1、Sharif Shameemの動画に基づく)を、大規模言語モデルの予測が「ほぼ正しい(almost-right)」にとどまる性質を示す代表例として引用する。生成されたコードは常に動作するとは限らず、動作しても要件に合致したWebページを描画できないことがある。React未経験のユーザーはコードを自ら修正できないため、同一入力に対して複数のスニペットを生成し専門知識がなくても評価できる形で提示するヒューマン・イン・ザ・ループAIのアプローチが議論される。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 11 機械学習の人的側面]] §11.1.2) ## 関連 - エンティティ: [[OpenAI]] / [[Tom Brown]] / [[Jared Kaplan]] / [[Alec Radford]] / [[Ilya Sutskever]] / [[Dario Amodei]] / [[GPT-2]] / [[BERT]] - 概念: [[文脈内学習]] / [[LLMスケーリング則]] / [[Transformer]] / [[言語モデル事前学習]] / [[スパース注意]] - ソース: [[@2020__NeurIPS__Language Models are Few-Shot Learners]] / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]] / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] / [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] / [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 11 機械学習の人的側面]] ## 出典 - [[@2020__NeurIPS__Language Models are Few-Shot Learners]] - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第1章 §1.5補足, 第5章 §5.3. - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第4章 §4.2.1. - Chip Huyen 著, 江川崇・平山順一 訳, 『機械学習システムデザイン』, オライリー・ジャパン, 2023, 11章 §11.1.2.