## 概要 Noam Shazeer は [[Google Brain]] に在籍した研究者であり、[[@2017__NeurIPS__Attention Is All You Need]] の共著者である。同論文の貢献注釈によれば、Scaled Dot-Product Attention、Multi-Head Attention、およびパラメータフリーの位置表現を提案し、研究のほぼ全ての詳細に関与した。また、スパースゲート型 Mixture-of-Experts に関する先駆的研究でも知られる（同論文の参考文献 [32]）。 ## 経歴 - **[[Google Brain]]**: Transformer のアテンションメカニズム設計を主導（[[@2017__NeurIPS__Attention Is All You Need]]）。 ## 主な貢献 - [[@2017__NeurIPS__Attention Is All You Need]] において、Scaled Dot-Product Attention（$1/\sqrt{d_k}$ によるスケーリング）と Multi-Head Attention を提案した。 - スパースゲート型 [[Mixture-of-Experts]] 層の提案（同論文参考文献 [32]）。 ## 関連 - [[Google Brain]] - [[@2017__NeurIPS__Attention Is All You Need]] - [[Transformer]] - [[Mixture-of-Experts]]