## Memo ## Abstract Transformerは、自然言語処理、コンピュータビジョン、音声処理など、多くの人工知能分野で大きな成功を収めている。そのため、学術界や産業界の研究者から多くの関心を集めるのは当然のことである。現在に至るまで、多種多様なTransformerの変種（別名X-former）が提案されているが、これらのTransformerの変種に関する体系的かつ包括的な文献レビューはまだ不足している。このサーベイでは、様々なX-formerの包括的なレビューを提供する。最初にVanilla Transformerを簡単に紹介し、次にX-formerの新しい分類法を提案する。次に、様々なX-formerを、アーキテクチャの変更、事前トレーニング、アプリケーションの3つの観点から紹介する。最後に、今後の研究の方向性について概説する。