# Ilya Sutskever [[OpenAI]] の共同創設者であり、元チーフサイエンティストである。 ## 概要 [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] の共著者として、GPT-1 の開発に関わった。同論文では Transformer デコーダを用いた教師なし事前学習と教師あり微調整のフレームワークを提案し、自然言語理解の 12 タスク中 9 で当時の最高精度を達成した。 続く [[GPT-2]] 論文 [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]] でも共著者（equal contribution）を務め、1.5B パラメータモデルによる教師なしマルチタスク学習とゼロショットタスク転移の実証に貢献した。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]) さらに [[GPT-3]] 論文 [[@2020__NeurIPS__Language Models are Few-Shot Learners]] の共著者でもある。GPT-3 プロジェクトでは、大規模生成尤度モデルのスケールアップを早期から提唱した人物として言及されており、Pranav Shyam、Prafulla Dhariwal、Rewon Child、[[Alec Radford]]、Aditya Ramesh の研究を指導した。(Source: [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) ## 出典 - [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]] - [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]] - [[@2020__NeurIPS__Language Models are Few-Shot Learners]]