# OpenAI AI の安全な開発と普及を目的として 2015 年に設立された AI 研究組織である。Sam Altman、[[Ilya Sutskever]]、Greg Brockman らが共同設立した。 ## 概要 GPT シリーズの開発元として知られる。本 wiki で取り込んだ [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] は、GPT（GPT-1）の原論文であり、Transformer デコーダを用いた教師なし事前学習と教師あり微調整の二段階転移学習フレームワークを提案した。同論文は [[Alec Radford]]、[[Karthik Narasimhan]]、[[Tim Salimans]]、[[Ilya Sutskever]] の 4 名により執筆された。 ## 主要プロジェクト（本ソースから確認できる範囲） - **GPT（GPT-1）**: Transformer デコーダによる教師なし事前学習と教師あり微調整の統一フレームワーク。12 タスク中 9 で当時の最高精度を達成した（2018年） - **[[GPT-2]]**: GPT-1 を 10 倍以上にスケールアップした 1.5B パラメータの Transformer 言語モデル。[[WebText]]（約 40GB のウェブテキスト）で訓練し、パラメータやアーキテクチャの変更なしにゼロショットで多様な NLP タスクを解けることを実証した。8 つの言語モデリングデータセットのうち 7 つでゼロショット SOTA を達成（2019年）。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]) - **[[GPT-3]]**: GPT-2 をさらに 100 倍以上スケールアップした 175B パラメータの自己回帰言語モデル。勾配更新なしの少数ショット・ワンショット・ゼロショット設定で 40 以上の NLP タスクに適用し、一部では微調整 SOTA に匹敵する性能を達成した（2020年）。[[Tom Brown]] が筆頭著者、[[Dario Amodei]] が研究を設計・主導、[[Jared Kaplan]] がスケーリング則を適用してモデル・データ規模を導いた。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## 出典 - [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] - [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]] - [[@2020__NeurIPS__Language Models are Few-Shot Learners]]