# Sasha Rush ## 概要 Sasha Rush（Alexander M. Rush）は、2018年版The Annotated Transformerの著者である。同記事はTransformer原論文の文章・数式をPyTorch実装と対応づけ、実行可能な教育用ノートブックとして公開された。現行v2022はAustin Huang、Suraj Subramanian、Jonathan Sum、Khalid Almubarak、Stella Bidermanが共同更新している。(Source: [[@2026__30papers__The Annotated Transformer]]) ## 主な貢献 - Transformerのモデル構築、マスキング、訓練、復号、可視化を行単位のコードへ写した2018年原版を作成した。(Source: [[@2026__30papers__The Annotated Transformer]]) - 注釈版は原論文を完全に逐語実装せず、残差接続部分でpost-normからpre-normへ意図的に変更している。この差をコードコメントで明示した。(Source: [[@2026__30papers__The Annotated Transformer]]) ## 関連 - [[@2026__30papers__The Annotated Transformer]] - [[Transformer]] - [[Harvard University]] - [本人サイト](http://rush-nlp.com/) - [Harvard NLP実装リポジトリ](https://github.com/harvardnlp/annotated-transformer/) ## 出典 - [[@2026__30papers__The Annotated Transformer]]