@2026__30papers__Attention Is All You Need

# Attention Is All You Need（30papers） ## 位置づけ 30papers は本論文を「再帰を自己アテンションで完全に置き換え、現代のほぼすべての大規模言語モデルを支えるアーキテクチャ」と紹介する。個別ページは原論文の全文・数式・表・図を再掲し、エンコーダ、デコーダ、自己アテンション、クエリ、キー、バリュー、softmax、位置符号化など14種類の専門語に初学者向け説明への導線を付ける。科学的主張の一次出典は2017年の原論文であり、このページは全文閲覧と用語解説を統合した再掲版である。(Source: [[.raw/articles/30papers-attention-is-all-you-need-2026-07-28.md]], [[.raw/papers/arxiv-1706.03762.pdf]]) ## 要点 - 再帰型・畳み込み型の層を使わず、アテンションだけでエンコーダ・デコーダ型系列変換を構成する [[Transformer]] を提案した。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §1–3) - 自己アテンションは系列内の任意の2位置を定数段の逐次演算で結ぶため、RNNの位置方向の逐次依存を除き、訓練時の並列化を容易にする。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §2, §4) - WMT 2014英独翻訳でBLEU 28.4、英仏翻訳でBLEU 41.8を報告し、英語句構造解析でもWSJのみでF1 91.3、半教師ありでF1 92.7を得た。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §6) - 自己アテンションの層当たり計算量は $O(n^2d)$ であり、系列長 $n$ が表現次元 $d$ より小さい領域では再帰層の $O(nd^2)$ より有利だが、長系列では二乗計算量が制約になる。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §4) ## モデル構成 ### エンコーダエンコーダは6層からなり、各層はマルチヘッド自己アテンションと位置ごとのフィードフォワードネットワークを持つ。両サブレイヤーは残差接続とレイヤー正規化で包まれる。ベースモデルの出力次元は $d_{\mathrm{model}}=512$ である。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §3.1) ### デコーダデコーダも6層であり、マスク付き自己アテンション、エンコーダ出力へのアテンション、位置ごとのフィードフォワードネットワークを備える。未来位置を $-\infty$ でマスクし、出力埋め込みを1位置ずらすことで自己回帰性を保つ。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §3.1, §3.2.3) ![[_attachments/30papers-attention-is-all-you-need/fig01-transformer-architecture.png]] 30papersが再掲する図1。左がエンコーダ、右がマスク付き自己アテンションを含むデコーダである。(Source: [30papers](https://30papers.com/papers/attention-is-all-you-need/), [[.raw/papers/arxiv-1706.03762.pdf]] 図1) ## Scaled Dot-Product Attention クエリ $Q$、キー $K$、バリュー $V$ から次式で出力を計算する。 $ \mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V $ $\sqrt{d_k}$ による除算は、キー次元が大きいと内積の分散が増え、softmaxが勾配の小さい領域へ入る問題を緩和する。内積型は最適化済み行列積を利用できるため、加法型アテンションより実装上高速かつ省メモリである。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §3.2.1) ![[_attachments/30papers-attention-is-all-you-need/fig02-scaled-dot-product-attention.png]] 図2左。$QK^\top$、スケーリング、任意のマスク、softmax、$V$との積という処理順を示す。(Source: [30papers](https://30papers.com/papers/attention-is-all-you-need/), [[.raw/papers/arxiv-1706.03762.pdf]] 図2) ## Multi-Head Attention クエリ・キー・バリューを異なる学習済み射影へ写し、各部分空間でアテンションを並列実行してから連結・再射影する。ベースモデルは8ヘッド、各キー・バリュー次元64であり、全次元の単一ヘッドと同程度の総計算量で異なる位置と表現部分空間を同時に参照する。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §3.2.2) ![[_attachments/30papers-attention-is-all-you-need/fig03-multi-head-attention.png]] 図2右。複数の線形射影、並列なScaled Dot-Product Attention、連結、最終線形射影を示す。(Source: [30papers](https://30papers.com/papers/attention-is-all-you-need/), [[.raw/papers/arxiv-1706.03762.pdf]] 図2) ## 位置情報とフィードフォワード層再帰と畳み込みがないため、入力・出力埋め込みへ正弦・余弦の位置符号化を加える。学習可能な位置埋め込みとの比較はほぼ同等であり、未学習の系列長へ外挿できる可能性を理由に固定正弦波版を採用したが、外挿性能そのものは十分に実証していない。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §3.5, 表3) 各層の位置ごとのフィードフォワードネットワークは、位置ごとに同じ2層線形変換とReLUを適用する。ベースモデルでは入力・出力次元512、内部次元2048である。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §3.3) ## 計算量と長距離依存原論文は自己アテンション、再帰、畳み込みを、層当たり計算量・逐次演算数・最大経路長の3軸で比較する。自己アテンションは逐次演算数と最大経路長がともに $O(1)$ だが、層当たり計算量は $O(n^2d)$ である。長系列向けには近傍幅 $r$ の制限付き自己アテンションを将来課題とし、その場合は計算量 $O(rnd)$、最大経路長 $O(n/r)$ になる。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §4, 表1) ![[_attachments/30papers-attention-is-all-you-need/fig04-long-distance-attention.png]] 図3の一部。5層目の自己アテンションが `making ... more difficult` という離れた依存関係へ向く例である。これは学習済みヘッドの挙動を可視化する観察であり、当該ヘッドの因果的役割を証明するものではない。(Source: [30papers](https://30papers.com/papers/attention-is-all-you-need/), [[.raw/papers/arxiv-1706.03762.pdf]] 図3) ## 訓練と結果 - 英独は約450万文対と共有BPE語彙約3万7000、英仏は約3600万文対とWordPiece語彙3万2000を使用した。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §5.1) - ベースモデルは8基のNVIDIA P100 GPUで10万ステップ、約12時間、大型モデルは30万ステップ、約3.5日訓練した。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §5.2) - 大型モデルは英独でBLEU 28.4、英仏でBLEU 41.8を報告する。英独の推定訓練費用は $2.3\times10^{19}$ FLOPsである。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] 概要, §6.1, 表2) - 単一ヘッドは最良設定より0.9 BLEU低く、ヘッド数を過度に増やしても品質が低下した。キー次元の縮小も品質を損ね、モデル拡大とdropoutは有効だった。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §6.2, 表3) > [!contradiction] 英仏BLEUの論文内不整合 > 概要と表2は大型モデルの英仏BLEUを41.8と記す一方、§6.1本文の一文だけは41.0と記す。30papersの全文再掲も両方をそのまま含む。独立した実験差とは説明されておらず、概要と表が一致するため41.8を主要値として扱うが、41.0という本文記載を黙って修正しない。(Source: [[.raw/articles/30papers-attention-is-all-you-need-2026-07-28.md]], [[.raw/papers/arxiv-1706.03762.pdf]] 概要, §6.1, 表2) ## 限界 - 自己アテンションの二乗計算量は長系列の制約であり、局所・制限付きアテンションは提案段階にとどまる。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §4, §7) - 正弦波位置符号化の長さ外挿は仮説であり、学習可能版との比較も英独開発集合上の近い長さに限られる。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §3.5, 表3) - 実験は翻訳と英語句構造解析に限られ、画像・音声・映像への適用は将来課題である。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §6.3, §7) - アテンション可視化は構文・照応らしいパターンを示すが、解釈を観察以上に因果的に検証していない。(Source: [[.raw/papers/arxiv-1706.03762.pdf]] §4, 図3–5) ## 関連 - [[@2017__NeurIPS__Attention Is All You Need]] — 原論文を直接取り込んだ既存source - [[Transformer]] - [[Ashish Vaswani]] - [[Noam Shazeer]] - [30papers掲載ページ](https://30papers.com/papers/attention-is-all-you-need/) - [arXiv原典](https://arxiv.org/abs/1706.03762) ## 出典 - [[.raw/articles/30papers-attention-is-all-you-need-2026-07-28.md]] - [[.raw/papers/arxiv-1706.03762.pdf]] - [[@2017__NeurIPS__Attention Is All You Need]]