# Alec Radford [[OpenAI]] の研究者。GPT シリーズ（GPT-1、GPT-2）の筆頭著者として知られる。 ## 概要 [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] の筆頭著者であり、Transformer デコーダを用いた教師なし事前学習と教師あり微調整による自然言語理解の統一フレームワーク（GPT-1）を提案した。同論文では 12 タスク中 9 で当時の最高精度を達成している。 続く [[GPT-2]] 論文 [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]] でも共同第一著者（equal contribution）を務め、GPT-1 を 10 倍以上にスケールアップした 1.5B パラメータモデルで教師なしマルチタスク学習とゼロショットタスク転移を実証した。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]) また [[GPT-3]] 論文 [[@2020__NeurIPS__Language Models are Few-Shot Learners]] の共著者でもある。GPT-3 プロジェクトでは NLP の観点から助言し、タスクの提案、結果の文脈づけを行い、少数ショット学習が言語モデルで生じることを当初実証した人物として言及されている。訓練データの収集・フィルタリング・重複排除・重複分析を Benjamin Mann と共同で実施し、重み減衰が訓練に有効であることを示した。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## 出典 - [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] - [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]] - [[@2020__NeurIPS__Language Models are Few-Shot Learners]]