## 定義 「`... [A] [B] ... [A]`」という形式の入力に対して、最後の `[A]` から `[B]` に注意を向ける[[アテンションヘッド]]。「過去に同じトークンが現れたとき次はどうなったか」をパターンとして参照する（Olsson+ 2022）。 拡張形式として `[A']` が `[A]` と類似したトークン列の場合にも帰納ヘッドと呼ぶ（例：意味的に似た映画レビュー文）。 ## 二層構造（Olsson+ 2022） 帰納ヘッドは**二つの注意層の協調**で実現される。 1. **第一層（前置きヘッド）**: 自分より一つ前の位置に注意を向け、そのトークン埋め込みを取り込む。位置が自分と似ているという基準で注意先を決定。 2. **第二層（帰納ヘッド本体）**: 第一層が取り込んだトークン埋め込みを用いて、文脈中で「自分のトークンの直前」が現れた位置を探し注意を向ける。 ## 文脈内学習（In-Context Learning）との関係 帰納ヘッドにより LLM は**近傍法を実行する汎用プラットフォーム**として機能する。感情分析・分類タスク等を例示なしのルール記述なしに few-shot で解くのは、この帰納ヘッドが過去の例示パターンを参照しているためと解釈できる。 重要な含意：表層のトークンレベルでは外挿（訓練時未見のトークンに対応）しているが、仕組み・アルゴリズムのメタレベルでは内挿（訓練時に獲得した近傍法アルゴリズムを適用）にとどまる。 ## 横断的知見 - 帰納ヘッドは[[機構的解釈性]]研究の代表例であり、小規模トランスフォーマーで詳細な回路解析が行われた最初のヘッドの一つ（Olsson+ 2022）。 - この機構が LLM の文脈内学習能力の主要なメカニズムである可能性が高い。 ## 未解決の問い - 実際の大規模 LLM でも二層の前置きヘッド＋帰納ヘッドの分離が観察されるか？ - 帰納ヘッドが多数存在するか少数かは LLM の文脈内学習性能にどう影響するか？ ## 関連ページ - [[アテンションヘッド]] — 帰納ヘッドが属する分類 - [[機構的解釈性]] — 帰納ヘッドを発見した方法論 - [[関数ベクトル]] — 文脈内学習の別実現機構