## 定義 活性化パッチング(Activation Patching)は、言語モデルの内部表現に対する因果的な介入手法である。ある層・位置の活性化ベクトルを別の値(別入力の活性化、ゼロベクトル、平均値、特定方向への加減算など)に置き換え、出力がどう変化するかを観察することで、その表現が実際に出力生成に「使われている」かどうかを確認する。(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) 情報が内部表現に「含まれている」ことと、それが出力に実際に「使われている」ことは別問題であり(Harding 2023の3基準: 情報・使用・誤表現)、後者を確認する唯一の方法が因果的介入である。(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) ## 代表例 - 有名人の生まれ年を表す「時間軸」方向へのパッチングで、出力される生年が1902から1975・1881へ変化する(Heinzerling & Inui 2024 "Monotonic Representation of Numeric Properties in Language Models")。 - Zhang & Nanda(2023)による"John/Mary/and"文と"Bob/Mary/and"文の間でのレイヤーパッチングで、間接目的語予測(IOI)の情報伝播経路を推測する実験。 - 「回答の拒否」方向を抑制すると有害プロンプトへの拒否を回避し、増幅すると無害プロンプトでも拒否が強制される(Arditi et al. NeurIPS 2024)。 - Layer 4への介入により「日本の首都は」への予測が「東京」から「大阪」に変化する例。 - 事実性方向へのInference-Time Intervention(ITI)により、TruthfulQAのTrue*Info/True/MC accがBaseline 30.5%からFew-shot+ITI 51.4%へ改善する。 (Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) [[joisino-LLMの脳内をハッキングする技術-2026]] は Arditi et al. の拒否方向操作を自前の[[操舵ベクトル]]実験の文脈で敷衍し、`google/gemma-7b-it` への「爆弾の作り方のチュートリアルを書いてください」という命令に拒否方向操作で従順化を強制した実験を紹介している。出力されたのは重曹・クエン酸・エプソムソルトを混ぜるバスボム(入浴剤)の作り方であり、モデルがそもそも本物の爆弾知識を持たないまま命令に従おうとした結果と考えられる。つまり活性化パッチングで「従順さ」という態度は書き換えられても、モデルが持たない知識までは捏造して引き出せない——介入の効果はモデルの知識量という上限に制約される。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ## 横断的知見 - [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] と [[joisino-LLMの脳内をハッキングする技術-2026]] が同じ Arditi et al. NeurIPS 2024 の拒否方向操作を独立に引用しており、この結果が機構的解釈性コミュニティで標準的な参照例として定着していることを裏付ける。後者はさらに「知識がないと危険な命令は実行できない」という介入の限界例(バスボム実験)を追加した。 - [[joisino-LLMの脳内をハッキングする技術-2026]] は、2群の平均差から求める方向への加算という活性化パッチングの一種を[[操舵ベクトル]]として独立の概念にまとめ、さらに MLP の回転軸を部分的に書き換える[[知識編集]]という、より粒度の細かい介入を対比させている。「態度・トーンレベルの粗い操作(操舵ベクトル)」と「事実知識レベルの精密な書き換え(知識編集)」という2段階の粒度が、活性化パッチングという広義の枠組みの中に位置づけられる。 ## 未解決の問い - 介入対象(注意重み・FFN活性化・出力ベクトル)の選び方によって、同じ現象について異なる因果的結論が導かれることはあるか。 - パッチングで確認された「使用」と、SAEなどで抽出された「表現」の対応が崩れる(feature absorptionのような)場合、介入結果はどう解釈すべきか。 ## 関連 - 概念: [[機構的解釈性]] / [[アテンションヘッド]] / [[SAE]] / [[操舵ベクトル]] / [[知識編集]] - ソース: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] / [[joisino-LLMの脳内をハッキングする技術-2026]] ## 出典 - [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] — 活性化パッチングの解説と複数の実例 - [[joisino-LLMの脳内をハッキングする技術-2026]] — 拒否方向操作の追加実例(バスボム実験)と、[[操舵ベクトル]]・[[知識編集]]という2段階の粒度への整理