# 言語モデルの内部機序：解析と解釈 [[Benjamin Heinzerling]]・[[横井祥]]・[[小林悟郎]](理化学研究所・東北大学・国立国語研究所)による、言語処理学会第31回年次大会(NLP2025)チュートリアル1のスライド資料である。全144ページ、SpeakerDeckで公開されている。(Source: [[.raw/slides/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/pages]]) ## 概要 言語モデルの内部機序をどう理解するかを、「なぜ理解すべきか(Why)」「どう理解するか(How)」という2つの問いから出発し、内部表現の解析、計算過程の解析、そして言語・世界・知識との対応づけ(解釈)という3段階のフレームワークで解説するチュートリアルである。前半は具体的な解析手法(プロービング、SAE、Activation Patching、注意パターン観察、Logit Lens、Circuit Analysis)を豊富な実例とともに紹介し、後半では「局所性・一対一対応」という暗黙の前提そのものへの懐疑的検討で締めくくる、方法論への内省を含む構成が特徴である。(Source: [[.raw/slides/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/pages]]) ## 主要メッセージ - 行動主義的なベンチマーク評価には限界があり(中国語の部屋、ブロックヘッド論法)、ホワイトボックスなモデルであっても生パラメータをそのまま見るだけでは理解に至らない。デビッド・マーの3レベル理論の「アルゴリズムと表現のレベル」を埋めるために、抽象化・単純化した解析が必要となる。(p.12-22, Source: [[.raw/slides/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/pages]]) - 内部表現は「特徴量」(ニューロンの活性値やプローブで取り出した値)と「ベクトル」(単語表現の点群)の2つの単位で分析され、線形な関係(国-首都ベクトル代数)、階層構造(直交性による階層エンコード)、円形・周期構造(mod演算のgrokking、曜日・月・年の周期表現)、グラフ構造など多様な幾何学的パターンが報告されている。(p.36-54, Source: [[.raw/slides/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/pages]]) - 情報が表現に「含まれる」ことと、それが出力生成に実際に「使われる」ことは異なる問題であり(Harding 2023の3基準)、Activation Patchingのような因果的介入を通じてのみ使用を確認できる。ゴールデンゲートブリッジ特徴の増幅実験や、生まれ年を表す「時間軸」方向への介入実験がその具体例である。(p.55-61, Source: [[.raw/slides/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/pages]]) - 計算過程の解析は、注意パターンの観察(BERTの構文・意味情報への紐づけ、attention sink現象とその対処)、語彙空間への射影(Logit Lens、非英語処理時に中間層が英語を経由する現象)、出力への数学的・介入的な影響度測定、Circuit Analysis(Induction heads、IOI回路、事実知識想起回路)という4手法群で進められる。(p.65-109, Source: [[.raw/slides/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/pages]]) - チュートリアルの終盤では、解析・解釈が前提とする「局所性・一対一対応」という仮定そのものへの懐疑を展開する。SAEのfeature absorption現象、同一入出力に対する複数の等価な回路・複数の実際の計算メカニズムの共存、ワットの調速機やライフゲームのように「表現と計算」という見方自体が的外れになりうる例を挙げ、解釈は誰のためのものかというステークホルダー論まで踏み込む。それでも、ゴールデンゲートブリッジ特徴や時間軸方向の実例のように、何かに迫れているように見える成果も再確認して締めくくる。(p.121-144, Source: [[.raw/slides/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/pages]]) ## 視覚的に重要な図表 **p.9 ゴールデンゲートブリッジ特徴** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-009.png]] Anthropic Claudeの単一SAE特徴が橋の話題・画像に選択的反応し、10倍増幅すると自己をゴールデンゲートブリッジだと発話し始める、チュートリアル全体で繰り返し参照される代表例である。 **p.10 時間を司る「軸」の存在** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-010.png]] カール・ポパーの生年を尋ねる質問への内部表現を「誕生年方向」ベクトルに沿って動かすと、出力される生年が1902から1975・1881へ変化する(Heinzerling & Inui 2024)。 **p.22 デビッド・マーの3レベル理論** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-022.png]] 計算のレベル・アルゴリズムと表現のレベル・ハードウェア実装のレベルという3段階のうち、「アルゴリズムと表現のレベル」が言語モデルでは特にわかっていないと強調される。 **p.29 解析・解釈の中心フロー図** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-029.png]] "When was Einstein born?"を例に、モデル→解析(内部表現・計算過程)→解釈(言語・世界・知識との対応づけ)という3段階を図示する、以降の章導入で繰り返し再利用される中心図。 **p.43 SAE(Sparse Autoencoder)の仕組み** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-043.png]] 活性化ベクトルをエンコーダ・ReLU・スパースな特徴係数・デコーダで再構成する辞書学習パイプラインを示し、superposition(概念数がモデル次元を上回る)問題を解消する手法として位置づける。 **p.60 Activation Patchingによる時間軸操作** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-060.png]] 有名人の生まれ年を表す方向へのActivation Patchingで出力される生年が変化する実例で、情報の「使用」を因果的に確認する手法の具体例。 **p.86 Logit Lens** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-086.png]] 中間層の表現を最終予測ヘッドに直接通すことで、「日本の首都は」という入力への予測トークンが層を追うごとに「首都」から「東京」へ収束する過程を可視化する(nostalgebraist 2020)。 **p.104 Induction heads(帰納ヘッド)** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-104.png]] Previous Token HeadとInduction Headの2段階構成でトークン列のコピー機構を実現し、文脈内学習の基盤メカニズムとされる回路。 **p.108 事実知識想起回路** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-108.png]] 「Beats Musicの所有者は→Apple」のような事実想起を、主語エンリッチメント(序盤MLP)・関係伝播(序盤注意)・属性抽出(終盤注意)の3ステップに分解する(Geva et al. 2023)。 **p.122 解析・解釈フローに潜む暗黙の仮定** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-122.png]] p.29と同じ3段階フロー図を再掲し、「概念・機能の局在性」「内部表現と対応物の一対一対応」という暗黙の仮定を吹き出しで明示する、批判的検討パートの導入図。 **p.127 実データの埋め込み複雑性** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-127.png]] GPT-4o・Llama-3.1・Claude-3.5-Sonnet等の類似度行列を理論的な距離行列(Levenshtein、Log-Linear)と比較し、実モデルの表現はそれらの単純な理論構造の組み合わせ以上の複雑さを持つと示す(Marjieh et al. 2025)。 **p.133 ワットの調速機** ![[_attachments/NLP_2025_interpretability_tutorial__E68F90E587BAE78988_-/page-133.png]] 表象も計算も持たないとされる蒸気機関の調速機を例に、「表現と計算」という見方そのものが言語モデル理解の指針として的外れである可能性を提起する(Van Gelder 1995)。 ## 概念・実体への接続 - [[機構的解釈性]]: 注意パターン観察・Logit Lens・Circuit Analysisなど、本資料が扱う手法群はいずれも機構的解釈性の主要ツールに対応する。 - [[プラトン的表現仮説]] / [[モデル表現収束]]: p.113-115の緯度経度プローブ・CIELAB色空間比較・p.119のin silico/in vivo対比は、モダリティ・種を越えた表現収束という同仮説の主張と直接関連する。 - [[ロジットレンズ]]: p.86-88のLogit Lens実例と非英語処理時の中間層挙動(Wendler et al. 2024)が該当する。 - [[帰納ヘッド]]: p.104-106のInduction headsが該当する。 - [[アテンションヘッド]]: p.67-79の注意パターン観察全般、p.103-108のIOI回路・事実知識想起回路が該当する。 - [[Benjamin Heinzerling]] / [[横井祥]] / [[小林悟郎]]: 登壇者3名。 - [[Anthropic]]: p.9・p.44・p.140のゴールデンゲートブリッジ特徴の出典。 ## 限界・不確実点 - transcript(口頭説明・質疑)は取得していない。SpeakerDeckの公開ページとPDF/画像のみを出典とする。 - p.19・p.21のごく一部の計算グラフ図は縮小されており、個々のラベルまでは判読できない。 - p.98のヒートマップ表の数値ラベル(runs 1〜4行の詳細な意味づけ)、p.105・p.107・p.116などSkipバッジ付きページの詳細な理論的主張は、要約に留めた。 - p.140はページ番号表示が「40」となっているが、これはp.44付近の内容の「再掲」であることを示すスライド上の意図的表記であり、誤りではないと推測される(確定はできていない)。 - 参考文献リストの書誌情報はスライド上の略記(著者+年、URL)に依拠しており、正式な出版情報(巻号・ページ)までは裏取りしていない。