![[Pasted image 20230402135447.png]] [[機械学習エンジニアのためのTransformers]] 1章図１−１より転載 - 2017 [[Transformer]] - 2018 [[転移学習]] [[ULMFiT]] - 2018 [[GPT]] - 2018 [[BERT]] - 2019 [[GPT-2]] - 2020 [[GPT-3]]