# LLMのアテンションと外挿 [[佐藤竜馬]] による 2025年9月29日付けのブログ記事（ジョイジョイジョイ）。LLM の注意ヘッドを 7 種類に分類し、「LLM はチューリングマシン的汎用計算装置＋静的データベース」というフレームで、注意機構が論理推論タスクの外挿を可能にする仕組みを論じる。 ## 核心的主張 - LLM は注意ヘッドで実装された**プログラムを実行する汎用計算装置**と、MLP に蓄積した**静的知識データベース**の組み合わせである。 - 表層（具体例）レベルでは外挿できても、ルール・アルゴリズムのメタレベルでは内挿に過ぎない可能性が高い。 - 知識依存タスク（対義語・翻訳）は外挿困難。論理的タスクは訓練済みアルゴリズムがあれば外挿可能。 ## 注意ヘッドの 7 分類 | ヘッド種別 | 機能 | 代表研究 | |-----------|------|---------| | 文法ヘッド | 文法規則に従い「動詞←目的語」等の構文的注意を形成 | Clark+ 2019, Chen+ ICLR 2024 | | 注意の受け皿 | 対応先のないトークン・グローバル情報のバッファ先 | Sun+ COLM 2024 | | 逐次ヘッド | 直近トークンのみ参照（N-gram 的） | Wu+ ICLR 2025 | | 検索ヘッド | 全文脈から必要な情報を取得（少数・重要） | Wu+ ICLR 2025 | | [[帰納ヘッド]] | `[A][B]...[A]→[B]` パターンで文脈内学習を実現 | Olsson+ 2022 | | [[関数ベクトル]] | タスクを表すベクトルを構築し MLP に渡す | Todd+ ICLR 2024 | | [[反復ヘッド]] | CoT のテープ上で漸化式を実行する反復計算 | Cabannes+ NeurIPS 2024 | ## 注意の受け皿とレジスタトークン - LLM は先頭数トークン・特殊トークン・句読点を注意の受け皿（attention sink）として使う。 - 受け皿はルール上の「対応先なし」フラグ兼グローバル情報バッファとして機能する。 - Darcet+ ICLR 2024 はビジョントランスフォーマーで同現象を確認し、**レジスタトークン**（無意味トークンを明示追加）で受け皿機能を専用化し性能向上を達成。 ## 関数ベクトルとMLP - Todd+ ICLR 2024 は「複数の few-shot 例の最終トークン内部状態の平均」を**関数ベクトル**とし、例示ゼロでも MLP 入力に加えるだけでタスクを解けることを示した。 - MLP は高階関数のように、関数ベクトルを受け取って対応する変換を実行する。 - 対義語関数は非線形（線形なら矛盾が生じる）。翻訳・対義語は知識依存で外挿困難だが、大文字化・現在形→過去形は外挿可能な傾向がある。 ## 反復ヘッドと思考の連鎖 - Cabannes+ NeurIPS 2024 は「01 文字列の偶奇判定」を CoT で解くときに**反復ヘッド**が登場することを実証。 - CoT のテープ部分がチューリングマシンのテープに相当し、反復ヘッドが処理済み位置を追跡する。 - 二層構造：①コロン位置の埋め込みを取得 → ②MLP で次位置を計算 → ③反復ヘッドで正しいトークンに注意。 ## 横断的知見 - 注意ヘッドの機能分化（文法・受け皿・逐次・検索・帰納・関数・反復）は、次トークン予測精度を向上させる最適化の結果として**自然に出現**する（明示的設計なし）。 - 文法ヘッドは訓練途中で**突然出現**し、同時期に文法能力が急上昇するという相転移が観察される（Chen+ ICLR 2024）。 - 検索ヘッドは少数でも、ニードルインアヘイスタックタスク精度の 94.7% → 63.6% 落ちを引き起こす。逐次ヘッドを 20 個削除しても性能はほぼ変わらない。 ## 未解決の問い - 7 分類以外の重要ヘッドが存在するか？別の解釈・説明はあるか？ - レジスタトークンはデコーダー型 LLM に有効か（著者は懐疑的）？ - 反復ヘッドはより複雑な CoT（ポインタが前後に動くケース等）にも一般化できるか？ ## 関連ページ - [[Transformer]] — 注意ヘッドが実装されるアーキテクチャ - [[機構的解釈性]] — 注意ヘッド分析の方法論 - [[佐藤竜馬]] — 著者 - [[National Institute of Informatics]] — 著者所属