## 定義 機械学習モデルに埋め込まれた機構やアルゴリズムを特定することで、モデルが「なぜそのような出力を生成するか」を内部構造から理解する研究分野。[[アテンションヘッド]]や MLP の内部回路を解析することで、特定の能力（文法判断・文脈内学習・推論）がどのヘッドや層に対応するかを明らかにする。 ブラックボックス的な入出力評価（「性能指標が高い／低い」）とは異なり、**モデルの内部アルゴリズムそのものを解読**することを目指す。 ## 代表的な研究成果 | 発見 | 研究 | |-----|------| | [[帰納ヘッド]] の特定と文脈内学習との関係 | Olsson+ 2022 | | BERT の文法ヘッド（第8層が直接目的語→動詞注意） | Clark+ 2019 | | 文法ヘッドの訓練中の相転移的出現 | Chen+ ICLR 2024 | | [[関数ベクトル]]による関数ベクトルの抽出と転移 | Todd+ ICLR 2024 | | [[反復ヘッド]]と CoT のテープ類比 | Cabannes+ NeurIPS 2024 | | MLP ニューロンによる [[ヒューリスティックの束]] で四則演算を解く | Nikankin+ ICLR 2025 | ## 横断的知見 - 機構的解釈性の主要なツール: (1) 注意パターンの可視化、(2) ヘッドをアブレーション（削除）したときの性能変化の測定、(3) 内部状態ベクトルの加算実験（プロービング）。 - 小規模・合成タスクでの解析が主流だが、実際の大規模 LLM でも類似機構の存在を支持する証拠が積み重なっている。 - LLM の能力が「チューリングマシン的計算装置＋静的データベース」として理解できるというフレームワークは、機構的解釈性の知見から導かれる（Source: [[joisino-LLMアテンションと外挿-2025]]）。 - [[Physics of Language Models]] は機構的解釈性と同様の「内部状態プロービング」手法を使いながら、コントロールされたデータで訓練した LLM に対して普遍則の発見を目指す。LLM が[[文脈自由文法]]を習得すると内部で動的計画法的パターンが観察され、算数問題解答時には誤答前から内部状態に誤りの予兆が現れるなど、出力観察のみでは分からない内部計算の実態を明らかにする。(Source: [[joisino-言語モデルの物理学-2025]]) - 機構的解釈性の研究は注意ヘッドを主対象とすることが多いが、MLP ニューロンの機能分化からも重要な発見が得られる。[[LLM算術機構]] では個々の MLP ニューロンが「粗い条件判定子（ヒューリスティック）」として機能することが示された（Source: [[joisino-LLMのキモい算術-2025]]）。 - 機構的解釈性は「注意ヘッドの役割を同定する」アプローチだが、帰属手法（attribution methods）との比較では、法則が本質的に高次元均一分散の構造を持つ場合は両アプローチとも説明能力に上限がある。このような場合は解釈ではなく検証（[[AI検証可能性]]）に軸足を移すことが現実的（Source: [[joisino-超人的AIと認知不能情報-2025]]）。 - [[認知意味論]]フレームワークから LLM 埋め込みを分析する手法は機構的解釈性と相補的である。埋め込みのコサイン類似度を「典型度」として解析することで、カテゴリー分類では人間と整合しながら**プロトタイプ性の感覚**では大きく乖離するという新しい切り口が生まれた（Source: [[joisino-LLMと言葉の感じ方-2026]]）。 - 機構的解釈性の全体像は、モデル→内部表現の解析→計算過程の解析→言語・世界・知識との対応づけ(解釈)という3段階フローとして整理できる。手法は(1)注意パターンの観察、(2)語彙空間への射影([[ロジットレンズ]]等)、(3)出力への数学的・介入的な影響度測定、(4)Circuit Analysis の4群に分類される(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]])。 - 機構的解釈性は「局所性・一対一対応」(概念・機能の局在性、内部表現と対応物の一対一対応)という暗黙の仮定に依拠するが、この仮定はSAEのfeature absorption([[SAE]]参照)、同一入出力に対する複数の等価な回路の存在(XORの例で159通りの完全写像・85種の回路が25種の抽象化に縮約)、同一出力を導く複数の実際の計算メカニズムの共存(事実想起メカニズムと反事実理解メカニズムの競合)によって掘り崩される例が蓄積している(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]])。 - 機構的解釈性の研究は伝統的に TransformerLens のような**カスタムモデル実装**(本番推論エンジンとは別の解析専用実装)に依拠してきたが、[[@2026__arXiv__Enabling Performant and Flexible Model-Internal Observability for LLM Inference]] は本番の HuggingFace/vLLM 実行パスから直接、単一の推論パスで複数ヘッドの注意パターン(Duplicate Token pattern・attention-sink pattern)を同時捕捉できることを示した(Qwen3-0.6B、IOIプローブ)。これは、機構的解釈性の解析対象を「解析専用の別実装」から「本番運用中のモデル」へ移す方向性であり、TransformerLens が明示的に「本番推論には不適」とされてきた制約(Source: [[@2026__arXiv__Enabling Performant and Flexible Model-Internal Observability for LLM Inference]] Section 8)を、性能オーバーヘッドを抑えたシステム設計によって解消しうることを示唆する。(Source: [[@2026__arXiv__Enabling Performant and Flexible Model-Internal Observability for LLM Inference]] Section 7.1) - 「表現と計算」というパラダイムそのものへの懐疑も存在する。ワットの調速機(governor)は表象も計算も持たずに目的を達成するシステムであり、言語モデルを「表現と計算」の枠組みで解釈しようとする指針自体が的外れである可能性が指摘される(Van Gelder 1995、Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]])。 - ロジットレンズ([[ロジットレンズ]])を発展させた **J-lens(Jacobian lens)** は、単一プロンプトのヤコビアンではなく多数のコンテキストで平均したヤコビアン行列を使うことで、ロジットレンズが浅い層で破綻する問題を修正する。J-lens は「モデルが将来言語化しうる概念」を層ごとに特定でき、その部分集合(J-space)が[[グローバルワークスペース理論]]の機能的性質(言語報告・意図的操作・内部推論・柔軟な汎化・選択性)を満たすことが介入実験で示された。これは機構的解釈性の従来の主眼(注意ヘッド・MLP ニューロンという局所回路の同定)とは異なる粒度で、複数の回路をまたぐ大域的な情報の組織化原理を明らかにする方向性である(Source: [[@2026__TransformerCircuits__Verbalizable Representations Form a Global Workspace in Language Models]])。 - 機構的解釈性の応用先として、アラインメント監査(モデルの出力に現れない戦略的意図・評価認識・偽装された報酬ハッキング傾向の検出)が具体的な実証段階に達した。J-lens を用いて、脅迫シナリオでの評価認識トークンのアブレーションが誤アラインな行動を有意に増加させることや、報酬ハッキング・報酬モデル迎合という 2 種のモデルオーガニズムで、出力からは見えない意図のシグナルが応答開始位置の内部表現に一貫して現れることが示された(Source: [[@2026__TransformerCircuits__Verbalizable Representations Form a Global Workspace in Language Models]]、詳細は [[アラインメント監査]])。 - [[@2026__DarioAmodei__We Must Pace the Frontier]] は、解釈可能性をモデル公開前の監査と、能力に応じた安全性チェックポイントの構成要素として位置づける。一方で、モデル内部のごく一部しか理解できず、既存手法も常に明確で信頼できる結果を返すわけではないという限界を明示する。(Source: [[@2026__DarioAmodei__We Must Pace the Frontier]]) ## 未解決の問い - 大規模 LLM で同定されたすべての重要回路は網羅されているか？ - 機構的解釈性の知見はモデルの安全性・アライメントにどう活用できるか？ - 帰属手法・機構的解釈性のいずれも機能しない「本質的に複雑な法則」を、どのような基準で事前に判別できるか？ - 認知意味論的分析（典型度・フレーム・メンタルスペース等）を LLM 埋め込みに体系的に適用したとき、機構的解釈性の回路分析とどこで交差・補完し合うか？ - 「局所性・一対一対応」という前提が成立しない場合(feature absorption、複数の等価な回路・メカニズム)、解釈結果の信頼性をどう評価すべきか(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]])。 - 「解釈は誰のためか」というステークホルダー論(開発者/意思決定者/科学者/社会)は、解析手法の選択や評価基準にどう反映されるべきか(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]])。 - 解析専用実装(TransformerLens等)から本番推論パスでの直接観測(DMI-Lib等)へ移行した場合、解析対象は「訓練時と同一の計算グラフ」ではなく「サービング最適化(コンパイラ最適化・カーネル融合・量子化等)が適用された計算グラフ」になる。この違いは、機構的解釈性の発見(帰納ヘッド・注意パターン等)の再現性や解釈にどう影響するか(Source: [[@2026__arXiv__Enabling Performant and Flexible Model-Internal Observability for LLM Inference]] Table 1 の数値差の議論を参照)。 - J-lens は単一トークンに対応する概念しか特定できないという制約を持つ。複数トークンからなる概念(prompt injection 等)を機構的解釈性の枠組みでどう体系的に扱うか(Source: [[@2026__TransformerCircuits__Verbalizable Representations Form a Global Workspace in Language Models]])。 - 解釈可能性分析を第三者評価者の工程監査やモデル公開前の安全性認証と組み合わせたとき、内部表現の検出結果をどの程度、リリース判断に使える証拠へ変換できるか。(Source: [[@2026__DarioAmodei__We Must Pace the Frontier]]) ## 関連ページ - [[アテンションヘッド]] — 解析の主対象 - [[帰納ヘッド]] / [[関数ベクトル]] / [[反復ヘッド]] — 代表的発見 - [[LLM算術機構]] / [[ヒューリスティックの束]] — MLP ニューロン視点の発見 - [[ロジットレンズ]] — ニューロンの出力寄与を測定するツール - [[帰属手法]] — 補完的な入力帰属アプローチ（高次元均一信号での限界を共有） - [[AI検証可能性]] — 解釈困難な場合の代替戦略 - [[敵対的摂動]] — 人間非可知情報が正当な分類根拠を含むという文脈 - [[認知意味論]] / [[LLM意味表象]] — 埋め込みを「感じ方」として解析する相補的アプローチ - [[操舵ベクトル]] / [[知識編集]] / [[活性化パッチング]] — 観察から一歩進み、内部状態への介入で機構仮説を実証する手法群 - [[モデル内部可観測性]] — 本番推論パスから低オーバーヘッドで内部状態を取得するシステム基盤。機構的解釈性の下流ユースケースの一つ - [[グローバルワークスペース理論]] / [[アラインメント監査]] — J-lens/J-space による大域的なワークスペース構造の発見と、その安全性応用 - 概念: [[LLM評価]] / [[Recursive Self-Improvement]]