Transformer - yuuk1's Digital Garden

## 定義 Transformer は、再帰（リカレンス）および畳み込みを一切用いず、自己アテンション（self-attention）メカニズムのみに基づく系列変換モデルアーキテクチャである。エンコーダとデコーダの双方を、マルチヘッド自己アテンション・位置ごとのフィードフォワードネットワーク・残差接続・レイヤー正規化からなる同一ブロックの積み重ねで構成する。系列中の任意の 2 位置間の依存関係を定数回の演算で捉えられるため、RNN の逐次計算制約を解消し、高い並列化可能性と短い訓練時間を実現する（Source: [[@2017__NeurIPS__Attention Is All You Need]]）。 ## 横断的知見 - Transformer のデコーダのみの変種が GPT シリーズ（[[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]]、[[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]、[[@2020__NeurIPS__Language Models are Few-Shot Learners]]）を通じて言語モデルの支配的アーキテクチャとなった。原論文のエンコーダ・デコーダ構成よりも、核となる自己アテンションメカニズムそのものが根本的な貢献であったことを示す。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]]) - GPT-1（117M）から GPT-3（175B）まで、Transformer アーキテクチャはパラメータ数で 3 桁のスケーリングを基本構造の変更なしに達成した。修正は残差接続のスケーリング（GPT-2）、疎アテンションパターンの部分採用（GPT-3）といった微調整にとどまり、アーキテクチャのスケーラビリティが極めて高いことを実証する。(Source: [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]], [[@2020__NeurIPS__Language Models are Few-Shot Learners]]) - この wiki に存在する [[Mixture-of-Experts]]、[[マルチトークン予測]]、[[LLM推論]]、[[LLM分散学習]]、[[並列化戦略]]、[[耐障害LLM訓練]]、[[チェックポイント]]、[[LLMスケーリング則]] 等の概念は、いずれも Transformer アーキテクチャを共通基盤として前提しており、Transformer はこの wiki の機械学習領域における基底的概念である。 - Transformer のアテンション機構はカーネル法として再定式化でき、KV キャッシュを特徴マップの線形和として畳み込むと固定次元状態ベクトル $w_n$ を持つ[[RNN]]に等価変換できる。同一モデルを訓練時は Transformer モード（並列計算）、推論時は RNN モード（定メモリ・定計算量）で動かせる。アテンション計算の「二乗時間」「並列化困難」という対立は固定的な性質ではなくモードの選択の問題である。(Source: [[joisino-トランスフォーマーはRNN-2024]]) - 原論文が示す「任意の2位置間の依存関係を定数回の演算で捉える」というアテンションの性質は、ハードウェア観点からは「離れた場所に格納されたデータ間の依存関係が存在せず大域的通信が不要」という局所計算の性質として再解釈できる。GPU 上の Transformer のベクトル演算は SIMD([[SIMDベクトル処理]])型であり演算ユニットの独立性が高くメモリアクセスが局所的になりやすいため、チップの集積度が上がるほど速度向上とプログラムの複雑度向上が同時に起こると主張される。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__TJSAI__AIシステムの進化速度は指数関数を超えている]]) - 30papersの導入文はTransformerを「現代のほぼすべての大規模言語モデルを支える」と位置づけるが、原論文が実証した範囲は翻訳と英語句構造解析である。GPT系列によるデコーダのみ構成への展開を並べると、歴史的影響の中心は原論文のエンコーダ・デコーダ全体ではなく、自己アテンションを再利用可能な基本ブロックへした点にある。(Source: [[@2026__30papers__Attention Is All You Need]], [[@2017__NeurIPS__Attention Is All You Need]], [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]]) - 原論文のpost-norm記述とThe Annotated Transformerのpre-norm実装を並べると、「原論文の再実装」は数式の逐語転写ではなく、教育上・実装上の判断を含む変種になりうる。アーキテクチャ名が同じでも、正規化位置のような小さな差が再現性の境界を作るため、コード付き解説では論文との差分を一次情報として扱う必要がある。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2026__30papers__The Annotated Transformer]]) - AIOps ドメインのサーベイは、原論文が一般に主張する「並列化・非再帰依存」という利点を、ログ・メトリクス・イベント分析という具体的タスク群で裏づける実証的知見を積み増す。ログ異常検知や時系列予測において、RNN(LSTM/Bi-LSTM)の逐次計算・勾配消失問題を回避できることが繰り返し報告されており、原論文の理論的主張(機械翻訳タスクでの検証)がドメインを超えて再現されていることを示す。同時に、この survey はトレース分析(グラフ構造データ)への Transformer 適用が構造的に手薄であると指摘しており、系列データへの強みが必ずしもグラフ構造データに転移しないという境界条件を追加する。(Source: [[@2026__TOSEM__Why Transformers - A Comprehensive Overview of Transformers in Artificial Intelligence for IT Operations - Chapter 5 Transformers in AIOps Domain]] §5.1, §5.2, [[@2026__TOSEM__Why Transformers - A Comprehensive Overview of Transformers in Artificial Intelligence for IT Operations - Chapter 8 Open Challenges and Future Directions]] §8.4) - AIOps サーベイの「Beyond Transformers」章は、本ページが既に挙げる[[状態空間モデル]](Mamba・RWKV)・[[線形注意]]という有限次元カーネルへの一般化を、産業応用の文脈から独立に再確認する。Mamba のような状態空間モデルはストリーミングタスク(ログ・メトリクスのリアルタイム処理)での線形計算量を強みとし、KAN(Kolmogorov-Arnold Networks、学習可能な一変数関数族)は根本原因分析のような解釈可能性が要求されるタスクに適すると位置づけられている。これは本ページの「テキストには高次元、動画・音声には低次元が適する」というカーネル次元の設計指針に、「診断タスクには解釈可能性を優先したアーキテクチャが適する」という新しい軸を追加するものである。(Source: [[@2026__TOSEM__Why Transformers - A Comprehensive Overview of Transformers in Artificial Intelligence for IT Operations - Chapter 8 Open Challenges and Future Directions]] §8.6, [[joisino-トランスフォーマーはRNN-2024]]) > [!contradiction] 正規化位置 > 原論文は`LayerNorm(x + Sublayer(x))`というpost-normを記述するが、注釈版コードは`x + dropout(sublayer(norm(x)))`というpre-normである。注釈版自身が意図的変更と説明しており、同じTransformerでも論文定義と教育用実装は一致しない。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2026__30papers__The Annotated Transformer]]) - 『原論文から解き明かす生成AI』第3章は、原論文 Table 1(自己注意・RNN・CNN の計算量比較表)を「少しミスリーディング」と評価する。自己注意単体(QKVの重み変換を含まない特徴量ベクトルそのものの計算)は $O(n^2 d)$ だが、$QW^{query}$ 等の変換コストまで含めた Transformer 全体の計算量は $O(n^2 d + nd^2)$ であり、RNN の $O(nd^2)$ に対して計算量の観点で自明に優位とは言えない。原論文 source ページはこの表自体を新規性として引用するにとどまり、計算量の内訳を批判的に検討する記述は持たない。本書はこの点を原論文4節の一文(分離可能畳み込みの計算量が自己注意層とフィードフォワード層の組み合わせに等しいという記述)から裏づけている。Transformer の実用上の優位性は計算量そのものではなく、並列計算可能性と最大パス長の短さにあるという整理は、原論文が Table 1 で強調する「計算量オーダー」を額面通り読むだけでは見えてこない。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.3.5) - 原論文が Table 1 の比較全体で前提としている $n\ll d$($d_{model}=512$ に対しトークン列長 $n$ が十分小さい)という仮定は、原論文 source ページの新規性・強み節では明示的に取り上げられていないが、本書はこの仮定を名指しし、「現代の感覚からは全然当てはまらない」が原論文当時(機械翻訳の対象トークン列が100以下であることも多かった)は妥当だったと歴史的文脈を補っている。原論文そのものの主張を検証するには、発表当時の実験条件に立ち返る必要があることを示す一例である。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.3.5) - 原論文 source ページは Transformer を「エンコーダ・デコーダ構造を踏襲」する系列変換モデルとして提示するが、本書第3章は原論文の説明順序を入れ替え、位置埋め込みとマルチヘッド注意という「原論文で初めて世に示された構成要素」を先に読み解き、残差接続・層正規化・FeedForward という「原論文以前から知られている要素」を後段(§3.4)にまとめて要点のみ解説するという構成を取る。これは原論文の新規性がどこにあるかという読み手の理解を、原論文の記述順序ではなく構成要素の新規性の軸で再編したものである。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] §3.1, §3.4) - **交差注意の除去こそが「エンコーダー・デコーダー型からデコーダー専用型への移行」を可能にした本質的な操作である**。『原論文から解き明かす生成AI』第4章は、原論文のエンコーダー・デコーダー構造のうち、デコーダーからエンコーダーの出力を受け取る交差注意(cross-attention)を外すだけで、デコーダー部分単体を自己完結した生成モデルとして使えることを明示する。エンコーダー単体(交差注意なし、分類等の NLU タスク向け)を取り出せば BERT 系列、デコーダー単体(交差注意なし、次トークン予測による生成)を取り出せば GPT 系列になるという二分岐が、原論文の同一ブロック構造から生まれた。この読み方は、原論文自身([[@2017__NeurIPS__Attention Is All You Need]])が機械翻訳という条件付き生成(エンコーダー・デコーダー間の交差注意が本質的)のために設計したアーキテクチャが、条件を取り除くだけで無条件生成モデルに転用できるという、原論文執筆時点では意図されていなかった転用可能性を明らかにする。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4) - **GPT-1 の原論文は Transformer デコーダーの採用理由を、原論文自身の「最大パス長 $O(1)$」という主張に明示的に接続して正当化する**。GPT-1 論文は「RNN 等の他手法と比較して、テキスト中の長期的な依存関係を扱うためのより構造化されたメモリーが得られる」と Transformer デコーダー採用を説明しており、これは Transformer 原論文の Table 1(自己注意の最大パス長 $O(1)$、RNN の $O(n)$)を、機械翻訳という原論文本来のタスクから言語モデル事前学習という別タスクへ転用する際の理論的根拠として再利用したものである。GPT 系列が Transformer デコーダーへ収束した背景には、原論文が示した計算量特性そのものよりも、この特性が「長距離依存を扱う次トークン予測」という別問題にも通用するという GPT-1 著者らの読み替えがある。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.1.1) - **「事前学習してタスクに適応させる」という使い方は、GPT-1(事前学習+ファインチューニング、アーキテクチャは不変)→GPT-2(事前学習のみ+ゼロショット、アーキテクチャに軽微な変更)→GPT-3(事前学習のみ+文脈内学習、疎な注意という部分的アーキテクチャ変更)という3段階を経て、Transformer というアーキテクチャそのものを一切変えずにタスク適応の方法だけを変えていく方向に進化した**。原論文が「訓練された1つのモデルを様々な系列変換タスクに使う」ことを想定していなかった(機械翻訳・構文解析という個別タスクごとに訓練)のに対し、GPT系列は同一の事前学習済み重みを保ったまま、入力の与え方(特殊トークン→タスク記述+例示→文脈内学習)だけを変えることで多様なタスクへ適応する方向へ舵を切った。これは、本ページ既存の横断的知見(「GPT-1(117M)から GPT-3(175B)まで、Transformer アーキテクチャはパラメータ数で3桁のスケーリングを基本構造の変更なしに達成した」)を、アーキテクチャの不変性という軸だけでなく「使い方(usage)の変遷」という軸から補強するものであり、Transformer というアーキテクチャの汎用性が、パラメータのスケーラビリティだけでなく「同じ重みを異なる適応方法で使い回せる」という別の意味でも実証されたことを示す。(Source: [[@2018__OpenAI__Improving Language Understanding by Generative Pre-Training]], [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]], [[@2020__NeurIPS__Language Models are Few-Shot Learners]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.1, §4.2) - **GPT-3 が採用した疎な注意(Sparse Transformer)は、原論文の「自己アテンションの計算量は系列長の二乗に比例する」という未解決の問い(下記参照)に対する GPT 系列からの最初の実装的回答である**。原論文は制限付き自己アテンション(近傍 $r$ 位置のみ参照)を将来課題として触れるにとどめたが、GPT-3 は Sparse Transformer(Child et al., 2019)の strided attention・fixed attention という2種類の接続パターンを採用し、密な注意層と疎な注意層を交互配置することで計算量を $O(n^2)$ から $O(n\sqrt n)$ へ抑えた。テキストには周期性がないため fixed attention(ブロック単位の接続)がチューニングされて使われているとみられる。この採用は本ページが挙げる[[線形注意]]・[[状態空間モデル]]とは異なる「疎な接続パターンによる $O(n^2)$ の緩和」という第3の設計軸であり、[[スパース注意]]ページが扱う DeepSeek Sparse Attention(動的な top-k 選択)や Big Bird(静的な3種の接続パターン)よりも歴史的に先行する、静的な接続パターンによる疎化の初期実装例として位置づけられる。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.2.1) - **原論文が将来方向として触れるだけだった画像モダリティへの拡張は、モデル本体を変えず入力のトークン化方法だけを変える(パッチ化)ことで実現された**。『原論文から解き明かす生成AI』第5章が読み解く [[Vision Transformer]](ViT)は、画像を $P\times P$ の矩形パッチに分割してトークン列とみなすだけで、Transformer エンコーダー部分をほぼそのまま画像分類に転用する。これは第4章が示した「交差注意を外すだけでデコーダー単体を生成モデルに転用できる」という知見と同じ構造を持つ横展開であり、Transformer の汎用性はアーキテクチャ内部の変更ではなく、入力側のトークン化・条件付けの設計だけで異なるモダリティ・タスクに適応できる点にあることを、テキスト以外のモダリティでも裏づける。(Source: [[@2017__NeurIPS__Attention Is All You Need]], [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]] §5.1) - **Transformer は生成モデルの「枠組み」(拡散モデル)のバックボーンとしても差し替え可能である**。Diffusion Transformer(DiT、Peebles and Xie, 2022)は、[[拡散モデル]]である DDPM が採用していた画像バックボーン U-Net を Vision Transformer に置き換え、adaLN-Zero によるラベル・タイムステップの条件付けを加えることで、U-Net より高い生成性能を達成した。拡散モデルは $p_\theta$ の具体的なネットワーク構造とは独立な学習の枠組みであるため、Transformer は「系列変換モデル」という原論文の役割を超えて、拡散モデルという別の学習パラダイムの内部で使われる汎用バックボーンにもなり得ることを示す。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]] §5.3) - エンコーダのみ Transformer による HPC ハードウェアエラー(Minor)1ステップ予測では、$L_x$ に対して比較的安定し最良は $L_x=10$。時間特徴(曜日・差分・EMA)付与で MSE/RMSE% が改善するが、同一特徴が TCN では悪化するなど、補助入力の効果はアーキテクチャ依存。(Source: [[@2026__arXiv__Evaluating Forecasting Techniques for Hardware Errors on a Large-scale HPC System]]) ## 未解決の問い - 自己アテンションの計算量は系列長の二乗（$O(n^2 \cdot d)$）に比例する。原論文では制限付き自己アテンション（近傍 $r$ 位置のみ参照、最大パス長 $O(n/r)$）を将来課題として言及するにとどまる。線形アテンション、スパースアテンション等による根本的解決の進展はどこまで来ているか。 - 正弦波位置エンコーディングは訓練時に遭遇しない系列長への外挿可能性を仮説するが、実証は限定的である。RoPE（Rotary Position Embedding）、ALiBi 等の後続手法との比較で、位置エンコーディングの最適形式は定まったか。 - 原論文はテキスト以外のモダリティ（画像・音声・映像）への拡張を将来方向として挙げる。画像分類([[Vision Transformer]])と画像生成([[拡散モデル]]の DiT)への転用は『原論文から解き明かす生成AI』第5章で確認できたが、音声・映像への拡張はどこまで同型のパッチ化・トークン化の発想で実現されているか、それとも別のアーキテクチャ的工夫を要するかは未追跡である。 - Transformer の RNN 等価性はアテンションカーネルの選択によって「状態次元のスペクトル」を形成する。無限次元カーネル（通常の Transformer）から有限次元カーネル（[[線形注意]]・[[状態空間モデル]]）まで連続的に配置でき、テキストには高次元、動画・音声には低次元が適するという設計指針が導ける。(Source: [[joisino-トランスフォーマーはRNN-2024]]) - 「現代のほぼすべての大規模言語モデルを支える」という30papersの教育的要約は、純粋なTransformer、状態空間モデル、再帰・アテンションのハイブリッドをどの基準で区別すれば検証可能になるか。 - Transformerの再現実装を比較するとき、正規化位置、重み共有、復号法、データ前処理、チェックポイント平均のどこまでを「同一アーキテクチャ」の許容差とし、どこからを別変種として報告すべきか。 - AIOps のようなグラフ構造データ(トレース)への Transformer 適用が手薄である理由は、単に研究の少なさなのか、それとも自己アテンションのアーキテクチャ的制約(系列前提)が本質的にグラフ構造と相性が悪いことに起因するのか。構造認識(structure-aware)Transformer による解決は、[[状態空間モデル]]や GNN による代替と比べてどこまで有効か。(Source: [[@2026__TOSEM__Why Transformers - A Comprehensive Overview of Transformers in Artificial Intelligence for IT Operations - Chapter 8 Open Challenges and Future Directions]] §8.4) - 『原論文から解き明かす生成AI』が指摘する「Transformer 全体の計算量は $O(n^2d+nd^2)$ で RNN に対し自明に優位ではない」という整理は、実際の学習・推論の実測(壁時計時間・スループット)でどこまで裏づけられるか。並列計算可能性という定性的優位性を、具体的なハードウェア条件下での定量比較でどう補強できるか。 ## 関連 - [[Why Transformers - A Comprehensive Overview of Transformers in Artificial Intelligence for IT Operations]] - [[@2017__NeurIPS__Attention Is All You Need]] - [[@2026__30papers__Attention Is All You Need]] - [[@2026__30papers__The Annotated Transformer]] - [[LLM推論]] - [[Mixture-of-Experts]] - [[マルチトークン予測]] - [[並列化戦略]] - [[LLM分散学習]] - [[耐障害LLM訓練]] - [[LLMスケーリング則]] - [[RNN]] — Transformer と等価変換される先 - [[線形注意]] — 有限次元カーネルによる Transformer の近似 - [[状態空間モデル]] — 線形注意モデルの具体実装クラス（Mamba、RWKV） - [[カーネル法]] — アテンション機構の統一的再解釈フレームワーク - [[文脈内学習]] — RNN 状態更新として数学的に説明される - [[SIMDベクトル処理]] — GPU 上のベクトル演算という局所計算の技術的基盤 - [[シンギュラリティ]] — アテンションの局所性を根拠にした生成AIの進化速度論 - [[位置埋め込み]] — 原論文で初めて提案された構成要素の1つ - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 3 生成AIモデルの大前提となるTransformer]] — 原論文の全体像・位置埋め込み・マルチヘッド注意・エンコーダー/デコーダー構造・学習設定を通しで読み解いた章 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] — 交差注意の除去によるデコーダー専用型モデル(GPT系列)の抽出、事前学習+スケールという使い方の3段階の変遷、Sparse Transformerによる疎な注意の採用を読み解いた章 - [[スパース注意]] — DeepSeek Sparse Attention・Big Bird 等、後続の疎な注意手法 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 5 拡散モデルと画像生成]] — パッチ化による画像領域への転用(Vision Transformer)と、拡散モデルのバックボーンとしての転用(Diffusion Transformer)を読み解いた章 - [[Vision Transformer]] — パッチトークン化による Transformer の画像分類への転用 - [[拡散モデル]] — Diffusion Transformer が Transformer をバックボーンに採用する生成の枠組み - sources: [[@2026__arXiv__Evaluating Forecasting Techniques for Hardware Errors on a Large-scale HPC System]] ## 出典 - [[Why Transformers - A Comprehensive Overview of Transformers in Artificial Intelligence for IT Operations]] - [[@2017__NeurIPS__Attention Is All You Need]] - [[@2026__30papers__Attention Is All You Need]] - [[@2026__30papers__The Annotated Transformer]] - [[joisino-トランスフォーマーはRNN-2024]] - [[@2025__TJSAI__AIシステムの進化速度は指数関数を超えている]] - 菊田遥平, 『原論文から解き明かす生成AI』, 技術評論社, 2025, 第3章, 第4章 §4.1, §4.2.1, 第5章 §5.1, §5.3.