# 注意機構 ## 定義 **注意機構**は、クエリまたは現在の状態に対する各入力表現の適合度を計算し、正規化した重みで入力を選択的に集約する機構である。[[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]]では、目標語 \(i\) の直前のデコーダー状態 \(s_{i-1}\) をクエリ、原文位置 \(j\) の双方向RNN注釈 \(h_j\) を参照対象として、次の加法的注意を使う。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]]) \[ e_{ij}=v_a^\top\tanh(W_as_{i-1}+U_ah_j),\qquad \alpha_{ij}= \frac{\exp(e_{ij})}{\sum_k\exp(e_{ik})},\qquad c_i=\sum_j\alpha_{ij}h_j \] 重み \(\alpha_{ij}\) は、目標語 \(i\) を生成するときに原文位置 \(j\) をどの程度参照するかを表す。文脈ベクトル \(c_i\) は生成位置ごとに変わるため、原文全体を一つの固定長ベクトルへ圧縮する必要がない。離散的な選択ではなく全位置の重み付き和なので微分可能であり、翻訳目的からエンコーダー、アラインメント、デコーダーを共同学習できる。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]]) ## 主要な形態 ### エンコーダー・デコーダー注意 クエリはデコーダー状態、キーとバリューに相当する表現はエンコーダー出力から来る。Bahdanauらの論文では、双方向RNNが作る原文注釈をRNNデコーダーが目標語ごとに読む。後のTransformerでは、デコーダーがエンコーダー出力を参照するマルチヘッド注意として残る。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]], [[@2017__NeurIPS__Attention Is All You Need]]) ### 自己注意 クエリ、キー、バリューが同じ系列表現から作られ、系列内部の位置同士を直接結ぶ。Transformerは自己注意をエンコーダーとデコーダーの中心演算に使い、再帰と畳み込みを除いた。Bahdanau型注意がRNN間の選択的な読出し機構だったのに対し、自己注意は系列表現を更新する基本層である。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]], [[@2017__NeurIPS__Attention Is All You Need]]) ### 加法的注意と内積注意 Bahdanau型はクエリとキーをフィードフォワードネットワークで採点する加法的注意である。Transformerは \(\mathrm{softmax}(QK^\top/\sqrt{d_k})V\) というスケール付き内積注意を使い、行列積による効率的な並列計算とマルチヘッド化を行う。両者とも適合度、ソフトマックス、バリューの重み付き和という構造を共有する。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]], [[@2017__NeurIPS__Attention Is All You Need]]) ### ソフト注意機構とハード注意機構 『ディープラーニングを支える技術』第4章は、すべての注意 α_i が非ゼロになるものをソフト注意機構(soft attention unit)、一部の注意のみ非ゼロで残りを0とするものをハード注意機構(hard attention unit)と呼んで区別する。ソフト注意機構は誤差逆伝播法ですべての要素に誤差が流れ、どの要素が必要だったかを試行錯誤できる。ハード注意機構は最終結果に貢献しない位置の計算を省略できる一方、選ばれなかった位置には誤差が流れず学習できないため、強化学習と同様の「利用(報酬)と探索のジレンマ」が生じる。本ページが扱うBahdanau型・Transformer型の注意はいずれも全位置に非ゼロの重みを与えるソフト注意機構に分類される。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) ### 記憶としての注意機構 同書は注意機構を「記憶」の一形態として位置づける。ニューラルネットワークは、活性値/内部状態(今処理中のデータについての記憶。すぐアクセスできるが容量は固定で小さい)、重み/パラメータ(過去の学習データ全体についての記憶。勾配降下法により負の勾配∂L/∂W=e^Thを少しずつ足し合わせて構成されるため、重みが張る空間は内部状態が張る空間と一致し、重みと内部状態の内積は「過去の内部状態と一致しているか」を調べていることになる)、そして注意機構による過去の内部状態の読み出し(内部状態より長期・重みより超長期のパラメータより短期という中間的な記憶)という3つの異なる時間スケールの記憶を扱う。一時的に重みを変化させ元に戻すFast Weight(脳内のHebb則に対応づけられる)も、内部状態と重みの中間に位置する記憶のしくみとして紹介される。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) ### 注意機構とMLPの等価性 同書のコラム「MLPと注意機構」は、注意機構の式 \(u=\sum_i \mathrm{Softmax}(\langle k_i,q\rangle)v_i\) と、中間層で1回だけReLUを適用する3層MLPの式 \(u=Vf_{\mathrm{ReLU}}(Kq)\) が同じ計算構造を持つことを示す。MLPの中間層のi番目のユニットにつながる前の層の重みがキーk_iに、後の層の重みが値v_iに対応し、3層が1セットとなって過去の記憶(損失を小さくできた値)から情報を読み出す操作とみなせる。この対応は、スキップ接続の変種であるSingle ReLU(§4.3、ブロック内でReLUを1回しか使わない構成)が性能を改善できる理由の説明にも使われている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.3, §4.4) ## 性質 - **動的な情報選択**: 出力位置やクエリごとに参照する入力位置を変えられる。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]]) - **固定長ボトルネックの回避**: 情報を位置ごとの表現へ分散して保持し、必要な部分を復号時に取り出す。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]]) - **微分可能なソフト選択**: 全位置の重み付き和により、離散アラインメント教師なしで誤差逆伝播できる。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]]) - **語順変更への対応**: 単調制約を置かず、翻訳時の非単調な位置対応を学習できる。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]]) - **全対計算**: Bahdanau型翻訳では \(T_xT_y\)、自己注意では同長系列に対して \(O(n^2)\) の位置対を評価する。柔軟な大域参照と計算量が表裏一体になる。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]], [[@2017__NeurIPS__Attention Is All You Need]]) - **表現力の改善**: 通常のネットワークは固定の接続・重みで入力によらず同じ関数を適用するが、注意機構はデータに応じて接続・重みの重み付けを変えられるため、関数の形自体をデータに適応させられる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - **学習効率の改善(破滅的忘却の抑制)**: ニューラルネットワークは分散表現によりタスク間で表現・処理を共有するが、あるタスクの学習が他タスクに有用だったパラメータを壊す破滅的忘却(catastrophic forgetting)が代償として生じうる。注意機構は選択された状態だけに誤差逆伝播で勾配を流すため、実際にタスクに使われたパラメータのみを更新でき、他タスクの学習結果が保たれやすい。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - **汎化能力の改善**: 過学習は入力と出力の間に存在しない偽の相関を学習してしまうことで起きる。注意機構が入力の中から無関係な要素(手の形や背景など)を無視して重要な情報だけを取り出せれば、情報のボトルネックとして偽の相関の利用を抑え汎化しやすくなる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) ## 横断的知見 - **『ディープラーニングを支える技術』第3章は注意機構を、ゲート機構・Softmax・プーリングという既存の構成要素の延長線上に位置づける導入的な言及にとどめる**: 同書はRNNのゲート機構を説明する文脈で「注意機構は、ゲート機構を使って入力や内部状態の一部をフィルタリングして読み取るしくみとみなすこともできる」と述べ、Max Poolingを説明する文脈で最大値のみを出力に使う点を「注意機構と同様に、特定の入力のみを使うような働きをする」と比較し、Softmax関数の応用例として「要素を読み取る際の重み付けの重みを計算する際にSoftmaxを適用する」と述べる。これらはいずれも本ページが扱う加法的注意・自己注意の内部機構(クエリ・キー・バリュー、$O(n^2)$の全対計算)には立ち入らず、既存構成要素(ゲート、Softmax、プーリング)との類比による位置づけのみを与える。**同書第4章がこの深掘りを実際に行い、クエリ q=W^Qh・キー k_i=W^Kh_i・値 v_i=W^Vh_i・内積注意 α_i=⟨q,k_i⟩ という本ページと同一のQKV定式化を、Bahdanau論文やTransformer原論文を明示的に引用することなく、RNNの内部状態圧縮問題(遠距離情報の喪失)からの独立導出として与える**。3ソースを並べると、加法的注意(Bahdanau 2014)→スケール化内積注意(Transformer 2017)→教科書的な独立再導出(岡野原 2022)という系譜の中で、QKVという定式化そのものが特定論文の実装詳細ではなく「動的な情報選択」を実現する構造として複数の教育的経路で収束していることが分かる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 3 ディープラーニングの技術基礎]] §3.6, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - **本ページが「性質」節で挙げる$O(n^2)$の全対計算という設計交換(柔軟な大域アクセスと計算量のトレードオフ)に対し、『ディープラーニングを支える技術』第4章はBig Bird・Lambda Network・Attention Free Transformerという3つの具体的な解決アプローチの見取り図を与える**: Bahdanau論文・Transformer原論文はいずれもこの計算量問題を将来課題として言及するにとどまるが(本ページ「未解決の問い」)、同書はBig Birdのランダム注意・近傍注意・グローバル注意の組み合わせ(隣接行列の疎化によるO(N)化)、Lambda Network(入力全体の特徴ベクトルを全体適用し位置依存処理を限定)、AFT(ヘッド数を次元数と一致させ計算を要素ごとの演算に変換)という3系統を並列に紹介し、「疎な接続パターンの設計」「位置非依存の大域特徴への還元」「ヘッド構造の再設計」という異なる解決の軸を示す。これは[[スパース注意]]・[[線形注意]]の各ページが個別に深掘りする具体的手法群を、教科書的な観点から統一的に見取り図化したものといえる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - **注意機構を「記憶」として位置づける説明は、本ページが引用するどのソースにも存在しない、ch4独自の角度である**: Bahdanau論文・Transformer原論文はいずれも注意機構を系列変換のための情報集約操作として提示するが、『ディープラーニングを支える技術』第4章は活性値/内部状態(短期・小容量)・重み/パラメータ(超長期・大容量)・注意機構による読み出し(両者の中間)という3つの時間スケールの記憶として注意機構を位置づけ、[[メモリ拡張ニューラルネットワーク]]が扱うNeural Turing Machineの外部メモリと同じ「参照先を連続重みで選ぶ」原理を共有すると整理できる。この記憶としての注意機構という枠組みは、注意重みの解釈可能性論争([[アテンションヘッド]]ページ参照)とは異なる軸で、注意機構の存在意義を説明する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - Bahdanauらの2014年論文は、注意を「固定長のRNN記憶から情報を救い出す外部読出し」として導入した。Transformer原論文は2017年に、その読出し操作を自己注意へ拡張し、RNNの状態遷移そのものを置き換えた。両ソースを並べると、注意機構の歴史的役割は、補助的なアラインメントから系列モデルの主計算へ移ったことが分かる。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]], [[@2017__NeurIPS__Attention Is All You Need]]) - Bahdanau型注意は、目標語ごとに全原文位置を参照することで長文に強くなったが、一文対あたり \(T_xT_y\) 回の採点を必要とする。Transformerの自己注意も任意位置間を直接結ぶ一方で \(O(n^2)\) の計算量を持つ。柔軟な大域アクセスが長距離依存のパスを短くする代わりに、位置対の計算量を増やすという設計交換は両世代に共通し、[[線形注意]]やスパース注意の研究課題へ続く。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]], [[@2017__NeurIPS__Attention Is All You Need]]) - [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]]は2015年時点で、RNNを中心アーキテクチャとしながら注意機構を特に有望な革新と評価した。2017年のTransformerは注意だけで再帰を除き、同記事が「RNNの追加機構」と見ていた要素を独立した基盤へ転換した。この二年間は、系列モデルの主役が状態圧縮から選択的な記憶アクセスへ移った転換期と読める。(Source: [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]], [[@2017__NeurIPS__Attention Is All You Need]]) - Bahdanau型のソフトアラインメントは、英仏翻訳の対角線、語順変更、冠詞と名詞の複数語依存を可視化した。Transformerもヘッドごとの注意パターンを構文や照応の観察に使った。両者は内部の重みを検査可能にしたが、どちらの原論文も「重みがモデル判断の因果的で完全な説明である」とは検証していない。可視化可能性と説明の忠実性は区別する必要がある。(Source: [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]], [[@2017__NeurIPS__Attention Is All You Need]]) - **『ディープラーニングを支える技術』第5章は、第4章が理論的に導出した自己注意機構が、実際のBERT・LASでどう応用されているかを示す**: BERTはTransformer(復号部のみ)による自己注意機構を各層で使い、周囲の単語から情報を自由に集めることで、全結合層(パラメータ数が過大)や畳み込み層(受容野が小さい)では扱えない大きな表現力を実現する。音声認識のLASでは、Speller側がSpeller状態$s_i$をクエリ、Listener出力$h_u$をキー・値とする加法的注意($e_{i,u}=\langle\phi(s_i),\psi(h_u)\rangle$)でアライメントを学習し、可変長の音声特徴列から文字列を生成する際の情報選択を担う。第4章がクエリ・キー・値という定式化を独立導出するのに対し、第5章はその定式化が言語理解(BERT)と系列変換(LAS)という異なるモダリティで具体的にどう配線されるかを示す点で補完的である。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.2-§5.3) - SENetのSqueeze-Excitation(チャンネル方向の注意機構)は、本ページが扱うクエリ・キー・値による自己注意機構とは異なる定式化(2層MLP+シグモイドでマスクを生成)でありながら、著者自身が「チャンネルを対象とした注意機構」と呼ぶ。両者を並べると、「注意機構」という語は特定の定式化(QKV)を指すのではなく、「入力に応じてデータの流れ方(どの情報を残すか)を動的に変える」という設計原理全般を指す、より広い概念として使われていることが分かる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1、詳細は[[畳み込みニューラルネットワーク]]参照) - **『原論文から解き明かす生成AI』第3章は、QKV定式化を情報検索のクエリー・キー・バリューという別ドメインの類推から導入する、本ページが引用する他ソースにない経路を辿る**: Bahdanau論文は加法的注意を直接定式化し、Transformer原論文はクエリー・キー・バリューを既知の表現として提示し、『ディープラーニングを支える技術』はRNNの内部状態圧縮問題からQKVを独立導出する。これに対し本書は、まず「クエリーに適合するキーを定め対応するバリューを取り出す」という情報検索の一般的な操作(typoしたクエリーに最も近いキーを探す例)を図解し、次にRNN注意機構(式3.5〜3.9)をこの枠組みに当てはめ、キーとバリューが同一である点・出力が重み付き和になる点を情報検索との差分として明示的に指摘してからスケール化内積注意に進む。3つの経路(直接定式化・独立導出・情報検索からの類推)が同じQKV構造に収束することは、この定式化が特定の学習理論からではなく「適合度に基づく選択的な読み出し」という一般的な操作パターンから自然に導かれることを示唆する。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4, [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.3.2) - **デコーダー自己注意のマスク処理について、原論文 source ページは「自己回帰性を保つため」と簡潔に述べるにとどまるが、本書は学習時と推論時の情報の非対称性という根拠まで踏み込んで説明する**: 原論文 source ページの提案手法節は「各位置がそれ以降の位置を参照することを防ぐマスキングを施す」と結果のみを記す。本書は、推論時はトークン $t_{i-1}$ を計算しなければ $t_i$ は計算できないため逐次処理が不可避である一方、学習時は答えのトークン列が既知なので全位置をまとめて入力し並列に次トークン予測できる、しかしそのままではエンコーダーと同じ注意機構では $i$ 番目以降のトークンの情報を使ってしまい学習時と推論時で状況が異なってしまう、という理由からマスクの必要性を導く。両ソースを重ねると、マスクは「未来を見ない」という設計判断の結果ではなく、学習の並列化という動機から論理的に要求される制約であることが分かる。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.3.3) - **本書は注意機構が使われる3箇所(交差注意・エンコーダー自己注意・デコーダー自己注意)を明示的に分類し、マスクが必要なのはデコーダー自己注意のみであることを対比させる**: 原論文 source ページの提案手法節はエンコーダ・デコーダアテンション、エンコーダ自己アテンション、デコーダ自己アテンションの3種類を列挙するが、マスクとの対応関係(3種のうちどれにマスクが必要か)を明示的に対比する記述は薄い。本書はこの3分類を、本ページ「主要な形態」節が扱うエンコーダー・デコーダー注意/自己注意という2分類よりも一段細かく、Transformer内部での配置(交差注意=エンコーダー・デコーダー注意の実装、2種の自己注意=自己注意の使い分け)として整理している。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.3.3) ## 未解決の問い - 注意重みは、入力位置の因果的寄与をどの条件で忠実に表すか。重みの可視化と介入実験による寄与評価をどう対応づけるか。 - 加法的注意、内積注意、カーネル化注意の選択は、精度、計算効率、長さ外挿にどのような体系的差を生むか。 - 全対注意の長距離アクセスを保ちながら、\(O(n^2)\) の計算量とメモリをどこまで減らせるか。 - ソフト注意が複数候補へ確率質量を分散する利点と、ハード注意による疎な計算の利点を、同一の学習目的でどう両立するか。 - 翻訳で得られた「固定長表現より位置別記憶を選択的に読む」という原理は、音声、画像、動画、外部メモリでどの表現単位をキーとバリューにすべきか。 - 多数のアテンションヘッドが同じ機能へ重複する場合、性能を落とさずに役割分化や疎性を促すには何が必要か。 - ゲート機構・プーリング・注意機構をいずれも「入力の一部を選択的に使う仕組み」として統一的に捉えたとき、微分可能なソフト選択(注意・ゲート)とほぼ微分不可能なハード選択(Max Pooling)の違いは、学習のどの段階で性能差として現れるか。 - ハード注意機構が抱える「利用と探索のジレンマ」は、強化学習の方策勾配法(REINFORCE等)以外にどのような学習法で緩和できるか。ソフト注意機構が実務上ほぼ独占的に使われている現状は、この学習の難しさだけで説明がつくか。 - 活性値/内部状態・重み/パラメータ・注意機構による読み出しという3つの記憶の時間スケールという整理は、[[メモリ拡張ニューラルネットワーク]]が扱う外部メモリ(NTMなど)をどこに位置づけるべきか。注意機構による読み出しと明示的な外部メモリは連続的な設計空間なのか、それとも質的に異なる機構なのか。 - Big Bird・Lambda Network・AFTという3つの効率化アプローチは、[[線形注意]]ページが扱うカーネル法による統一的定式化のどこに位置づけられるか。疎な接続パターン(Big Bird)は、有限次元特徴マップによる近似(線形注意)と同じ「有効受容野を保ちながら計算量を減らす」問題の解として比較可能か。 - 情報検索のクエリー・キー・バリューという類推(『原論文から解き明かす生成AI』第3章)、内部状態圧縮問題からの独立導出(『ディープラーニングを支える技術』第4章)、Bahdanau論文の直接定式化という3つの異なる導入経路が同じQKV構造に収束することは、この構造が注意機構の「唯一の自然な定式化」であることを意味するのか、それとも単に教育上都合の良い共通言語が後から遡及的に選ばれた結果なのか。 ## 関連 - [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]] — 加法的なエンコーダー・デコーダー注意の中心ソース - [[Dzmitry Bahdanau]]、[[Kyunghyun Cho]]、[[Yoshua Bengio]] — 著者 - [[@2017__NeurIPS__Attention Is All You Need]] — 自己注意とTransformerへの発展 - [[@2026__30papers__Attention Is All You Need]] — 30papers版Transformer原論文 - [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]] — 2015年時点のRNNと注意の位置づけ - [[RNN]]、[[LSTM]] — Bahdanau型注意の基盤 - [[Transformer]] — 注意を主計算へ拡張したアーキテクチャ - [[線形注意]] — 全対注意の計算量を削減する系譜 - [[アテンションヘッド]] — マルチヘッド注意の機能分化 - [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 3 ディープラーニングの技術基礎]] — ゲート機構・Softmax・プーリングとの類比による導入的言及 - [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] — QKVの独立導出、ソフト/ハード注意、記憶としての注意機構、Big Bird等による効率化の見取り図 - [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] — BERT・LASにおける応用側の使われ方、SENetのチャンネル注意機構 - [[BERT]]、[[LAS]] — 自己注意機構・加法的注意の応用例 - [[スパース注意]] — Big Bird等の疎な注意の具体的手法群 - [[メモリ拡張ニューラルネットワーク]] — 注意機構による読み出しと外部メモリの関係 - [[残差学習]] — Single ReLUとMLP-注意機構等価性を通じた接続 - [[Big Bird]] — 線形計算量の疎な自己注意機構 - [[位置埋め込み]] — 注意機構が持たない順序情報を補う構成要素 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] — 情報検索の類推からQKV定式化を導入し、マスク処理の必要性を学習・推論の非対称性から説明する章 ## 出典 - [[@2026__30papers__Neural Machine Translation by Jointly Learning to Align and Translate]] - [[@2017__NeurIPS__Attention Is All You Need]] - [[@2026__30papers__Attention Is All You Need]] - [[@2026__30papers__The Unreasonable Effectiveness of Recurrent Neural Networks]] - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第3章 §3.6, 第4章 §4.3-§4.4, 第5章 §5.1-§5.3. - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第3章 §3.3.