# Jared Kaplan ## 概要 Jared Kaplan は Johns Hopkins University および [[OpenAI]] に所属する研究者であり、大規模言語モデルのスケーリング則（[[LLMスケーリング則]]）研究の中心人物である。[[GPT-3]] の共著者として、巨大な言語モデルが継続的な性能向上を示すことを最初に予測し、スケーリング則を適用してモデルおよびデータの規模決定を導いた。後に Anthropic の共同創設者となった。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## 主な貢献 - Sam McCandlish とともに、巨大な言語モデルが継続的な性能向上を示すことを最初に予測し、スケーリング則を適用してモデルおよびデータの規模決定を導いた (Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - より大きなモデルが文脈内学習をより速く習得することを示し、文脈内学習曲線、タスクプロンプティング、評価手法を体系的に研究した（Sam McCandlish と共同）(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - ニューラル言語モデルのスケーリング則（Kaplan et al., 2020）の筆頭著者。$N_{\text{opt}} \propto C^{0.73}$, $D_{\text{opt}} \propto C^{0.27}$ というモデル偏重の最適配分を提唱した (Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - [[@2020__arXiv__Scaling Laws for Neural Language Models]] の筆頭著者（Sam McCandlish と同等貢献）。損失がモデルサイズ・データ・計算量それぞれに対してべき乗則でスケールすることを 7 桁以上の範囲で実証し、アーキテクチャ詳細（depth/width 比）への弱依存性も定量化した (Source: [[@2020__arXiv__Scaling Laws for Neural Language Models]]) - [[GPT-3]] の下流タスク評価フレームワークの実装に貢献（Melanie Subbiah、Benjamin Mann ほかと共同）(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## 主な被引用研究 - **Hoffmann et al. (2022, Chinchilla)**：Kaplan et al. (2020) のスケーリング則を実験的に否定し、$N_{\text{opt}} \propto C^{0.73}$ ではなく $N_{\text{opt}} \propto C^{0.49}$ という均等スケーリングを主張した。(Source: [[@2022__arXiv__Training Compute-Optimal Large Language Models]]) ## 関連 - エンティティ: [[OpenAI]] / [[GPT-3]] / [[Jordan Hoffmann]] / [[DeepMind]] - 概念: [[LLMスケーリング則]] / [[スケーリング則]] / [[計算最適訓練]] / [[文脈内学習]] - ソース: [[@2020__NeurIPS__Language Models are Few-Shot Learners]] / [[@2020__arXiv__Scaling Laws for Neural Language Models]] / [[@2022__arXiv__Training Compute-Optimal Large Language Models]] ## 出典 - [[@2020__NeurIPS__Language Models are Few-Shot Learners]]（Contributions セクション、§2.1, §6 Related Work） - [[@2020__arXiv__Scaling Laws for Neural Language Models]]（Contributions, §1.1 Summary, §1.2 Summary of Scaling Laws, §6 Optimal Allocation of the Compute Budget）