原論文から解き明かす生成AI

# 原論文から解き明かす生成AI ## 概要 [[菊田遥平]] による、生成 AI の重要な**原論文**(新しい科学的発見を最初に報告した学術論文)を直接読み解くことで理論的基礎を理解する教科書。テキスト生成と画像生成、および両者を融合させる手法を対象とし、扱うモデルはすべて Transformer 型に統一されている。同種の入門書が整理・再解釈された二次情報から解説するのに対し、本書は**原論文の記述と数式に直接あたる**という方針を貫く。分布仮説を支持する実験的事実、拡散過程と逆拡散過程が同じ関数形で表現できる数学的保証、Chatbot Arena の背後にある数理モデルといった、他の情報源ではあまり扱われないトピックに踏み込む点に特徴がある。 ## 書誌情報 - **著者**: [[菊田遥平]](きくたようへい) - **出版社**: 技術評論社 - **発行日**: 2025 年 8 月 23 日(初版第 1 刷) - **ISBN**: 978-4-297-15078-5 - **構成**: 全 8 章 + Appendix(A.1 参考文献の取り扱い / A.2 Landau のビッグオー記法と計算量) - **分量**: 305 ページ - **想定読者**: 学部生レベルの機械学習を理解していて生成 AI の基礎を理解したい人(大学院生・研究者・社会人) - **サポートページ**: https://github.com/yoheikikuta/support-genAI-book - **書籍ページ**: https://gihyo.jp/book/2025/978-4-297-15078-5 ## 構成と主要テーマ本書には部(Part)の区切りがないが、第 1 章の図1.1 が章間の依存関係を明示している。第 2 章と第 3 章が後続すべての前提となる基礎であり、そこからテキスト生成(第 4・7 章)と画像生成(第 5 章)が分岐し、第 6 章が両者を融合する。第 8 章の評価は単独でも読める。 ### 導入と方法論(第 1 章・Appendix) 原論文にあたるという本書の方法そのものを扱う。生成 AI の内容とは独立しているため、論文を読み慣れた読者は飛ばしてよいと本書自身が断っている。 → [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 1 本書の読み方と論文を読み解く技術]] — 全 8 章の依存関係・原論文マップ(表1.1〜1.7)・数式記法という本書の地図と、arXiv 活用や実装読解など論文を批判的に読み解く技術を示す章。 → [[@2025__Gihyo__原論文から解き明かす生成AI - Appendix 参考文献の取り扱いとビッグオー記法]] — 参考文献に原則 arXiv を使う著者の方針とその根拠(一意特定・アクセス容易性・該当箇所の明確さ)、および Landau のビッグオー記法による計算量表現を扱う付録。 ### 基礎(第 2〜3 章) 入力をどう連続的な特徴量に変えるか(第 2 章)と、それをどう処理するか(第 3 章)。本書が扱う生成 AI モデルはすべて Transformer 型に統一されているため、この 2 章がすべての後続章の前提になる。 → [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 2 入力データの特徴量化]] — テキストは離散記号なので埋め込みによる連続特徴量化が要る。分布仮説の実験的検証(Rubenstein and Goodenough, 1965)から BPE・ユニグラム言語モデル・SentencePiece・バイトレベル BPE を経て、「トークナイザーは本当に必要か」という理論的問いに答える。 → [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] — Attention Is All You Need を、全体像・位置埋め込み・マルチヘッド注意・エンコーダー/デコーダーの共通要素・出力部分・学習と実験結果の順に読み解く中心章。自己注意の計算量が RNN に自明には優位でないこと、原論文の n≪d という仮定が現代の感覚と食い違うことまで批判的に検討する。 ### テキスト生成(第 4・7 章) → [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] — GPT-1,2 を複数タスクモデル、GPT-3,4 を生成モデルとして読み解き、その生成能力を支える文脈内学習と RLHF を別の原論文から掘り下げる、本書最長(54 ページ)の章。 → [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 7 生成AIモデルのスケーリング則]] — 事前学習スケーリング則(Kaplan / Henighan)と推論時スケーリング則(Chain-of-Thought → GRPO → DeepSeek-R1)を、原論文の数式導出を通じて一本の筋で並べる章。 ### 画像生成と融合(第 5〜6 章) → [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]] — ViT による画像分類への Transformer 転用、拡散過程と逆拡散過程が同じ関数形になる数学的保証(Feller, 1949)を含む拡散モデル(DDPM)の定式化、両者を統合した DiT を通しで読み解く章。 → [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 6 テキストと画像の融合]] — CLIP が確立したテキスト・画像の共通埋め込み空間を土台に、text-to-image(unCLIP)・画像編集(Imagic)・画像記述(BLIP / LLaVA)という 3 方向の応用へ展開する構成で読み解く章。 ### 評価(第 8 章) → [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 8 生成AIモデルの評価]] — 生成 AI 評価の二重の困難(汎用性ゆえに部分しか測れない / 専門性ゆえに評価できる人間がいない)を、Chatbot Arena の Bradley-Terry モデルによる人間相対評価と Humanity's Last Exam の専門性評価という 2 つの原論文の読み解きで示す章。 ## 影響と位置づけ本書の特色は、**既に広く知られた原論文を「読み解き方」ごと提示する**点にある。同じ論文を扱う解説は多いが、本書は原論文が省略した導出を補い、原論文の記法の不正確さを自覚的に指摘し、原論文の前提条件(第 3 章の n≪d 仮定など)が現在も妥当かを問い直す。この vault には Attention Is All You Need・GPT-3・GPT-4・InstructGPT・Kaplan のスケーリング則・Chain-of-Thought・DeepSeek-R1 / V3 / Math・Chatbot Arena・Humanity's Last Exam といった**原論文そのものの source ページが既にある**ため、本書の各章はそれらに対する「読み解きの層」として重ねて読める。他の情報源ではあまり扱われないトピックとして本書自身が挙げるのは、分布仮説を支持する実験的事実(第 2 章)、拡散過程と逆拡散過程が同じ関数形で表現できる数学的保証(第 5 章)、Chatbot Arena の背後にある数理モデル(第 8 章)の 3 つで、いずれも該当章で厚く扱われている。 ## 関連 - 著者: [[菊田遥平]] - 概念: [[Transformer]] / [[注意機構]] / [[位置埋め込み]] / [[分布仮説]] / [[サブワードトークン化]] / [[テキスト埋め込み]] / [[文脈内学習]] / [[言語モデル事前学習]] / [[人間フィードバックからの強化学習]] / [[拡散モデル]] / [[Vision Transformer]] / [[対照学習]] / [[ビジョン言語モデル]] / [[スケーリング則]] / [[テスト時計算スケーリング]] / [[LLM評価]] / [[Bradley-Terryモデル]] / [[学術論文の読解技術]] ## 出典 - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025.