## 定義 活性化パッチング(Activation Patching)は、言語モデルの内部表現に対する因果的な介入手法である。ある層・位置の活性化ベクトルを別の値(別入力の活性化、ゼロベクトル、平均値、特定方向への加減算など)に置き換え、出力がどう変化するかを観察することで、その表現が実際に出力生成に「使われている」かどうかを確認する。(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) 情報が内部表現に「含まれている」ことと、それが出力に実際に「使われている」ことは別問題であり(Harding 2023の3基準: 情報・使用・誤表現)、後者を確認する唯一の方法が因果的介入である。(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) ## 代表例 - 有名人の生まれ年を表す「時間軸」方向へのパッチングで、出力される生年が1902から1975・1881へ変化する(Heinzerling & Inui 2024 "Monotonic Representation of Numeric Properties in Language Models")。 - Zhang & Nanda(2023)による"John/Mary/and"文と"Bob/Mary/and"文の間でのレイヤーパッチングで、間接目的語予測(IOI)の情報伝播経路を推測する実験。 - 「回答の拒否」方向を抑制すると有害プロンプトへの拒否を回避し、増幅すると無害プロンプトでも拒否が強制される(Arditi et al. NeurIPS 2024)。 - Layer 4への介入により「日本の首都は」への予測が「東京」から「大阪」に変化する例。 - 事実性方向へのInference-Time Intervention(ITI)により、TruthfulQAのTrue*Info/True/MC accがBaseline 30.5%からFew-shot+ITI 51.4%へ改善する。 (Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) ## 横断的知見 - 現時点では本 wiki にこの手法を直接扱うソースが [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] 1本のみ。今後の追加ソースとの比較検討が必要。 ## 未解決の問い - 介入対象(注意重み・FFN活性化・出力ベクトル)の選び方によって、同じ現象について異なる因果的結論が導かれることはあるか。 - パッチングで確認された「使用」と、SAEなどで抽出された「表現」の対応が崩れる(feature absorptionのような)場合、介入結果はどう解釈すべきか。 ## 関連 - 概念: [[機構的解釈性]] / [[アテンションヘッド]] / [[SAE]] - ソース: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] ## 出典 - [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] — 活性化パッチングの解説と複数の実例