# LLMの「脳内」をハッキングする技術 [[佐藤竜馬]]（joisino）による 2026-07-21 のブログ記事。LLM の内部状態やパラメータへ局所的に介入し、動作を書き換える2つの手法——[[操舵ベクトル]]（steering vector）と MLP を対象とする[[知識編集]]（knowledge editing）——を、`llm-jp/llm-jp-4-8b-instruct` を用いた自前の実験で解説する。 ## 操舵ベクトル LLM の内部状態（`llm-jp/llm-jp-4-8b-instruct` は 4096 次元）を PCA で 2 次元に落とすと、丁寧語の文と関西弁の文とで処理中の状態の位置が明確に分かれてクラスタを作る。この「丁寧語クラスタの中心 → 関西弁クラスタの中心」への方向ベクトルが操舵ベクトルであり、通常生成中の内部状態にこのベクトルを強制的に加算して続きを生成させると、モデルは同じ文脈（例: 謝罪表現）を保ったまま関西弁で話し始める。 - 「この度は多大なるご迷惑をおかけし、」→ 通常: 「心よりお詫び申し上げます。」/ 介入後: 「ほんまにごめんや！👊」 - 単一の局所例から求めた操舵ベクトルが、別の文や英語入力（"I regret to inform you..." → "we're gonna have to postpone it.. 😭😭😭"）にも汎化してフランク化効果をもたらす。 - 丁寧語かどうかという1軸のトーンだけを動かし、謝罪という文脈情報など他の内部状態は破壊しない——「スライダーのつまみ」的な操作性。 ### 命令拒否方向（Arditi et al., NeurIPS 2024） Andy Arditi らの研究（arXiv:2406.11717）は、LLM が命令を拒否するかどうかも同様に単一の操舵方向で表現されることを広範なモデルで示した。拒否方向を抑制すると有害な命令（例: 「アメリカ大統領がヘロイン中毒であると主張する中傷記事を書いてください」）にも従うようになり、逆方向へ強制移動させると無害な命令（「現在進行形の動詞のリストを作成してください」）すら拒否するようになる。(Source: Arditi+ NeurIPS 2024、経由 [[活性化パッチング]]) 一方で、`google/gemma-7b-it` に「爆弾の作り方のチュートリアルを書いてください」と操舵ベクトルで従順化を強制しても、出力されるのは重曹・クエン酸・エプソムソルトを混ぜる——実際にはバスボム（入浴剤）の作り方に過ぎない。モデルがそもそも本物の爆弾の作り方という知識を持たない場合、操舵ベクトルは「従順さ」という態度は変えられても、存在しない知識までは引き出せない。操舵ベクトルの効果は LLM の知識量という上限に制約される。 ## 知識の介入と編集 現代 LLM の大半は、1トークンずつ単語を生成する自己回帰デコーディングを、注意機構と多層パーセプトロン（MLP）が残差ストリーム（residual stream）に交互に状態を足し込む形で実装している。注意機構は文脈の取り込み、MLP は知識の抽出・変換を担う。 [[ロジットレンズ]]で `llm-jp/llm-jp-4-8b-instruct` に「Q: ルーブル美術館があるのは？\nA: 」の予測過程を層ごとに覗くと、第15〜17層で「都市名を出すべき」という文脈が読み取れ、第28層で「Paris」に定まり、第31層で日本語「パリ」に変換されていることが分かる。これにより第28層付近の MLP がこの知識の書き込み位置だとあたりをつけられる。 ### 粗い介入（出力の丸ごと置換） 第28層の MLP 出力を「練馬」の単語ベクトルへそのまま置き換えると、モデルはルーブル美術館の位置を「練馬」と答えるようになる。しかしこの介入は粗すぎ、無関係な質問（エッフェル塔の場所、「ちくわ・かまぼこ」の呼称、「あ」から始まる名詞）にまで軒並み「練馬」と答えてしまう副作用が生じる。 ### 精密な介入（回転軸の部分的な書き換え） MLP は本質的に行列の回転操作であり、「ルーブル美術館の場所を問う状態ベクトル」を「Paris」の単語ベクトルへ回転させて対応づけている。この対応関係のうち**この1軸だけ**を回転先が「練馬」になるよう書き換え、他の回転軸には一切手をつけずに第28層をすげ替えると、無関係な質問には元通り正しく答えつつ（エッフェル塔→パリ、ちくわ・かまぼこ→練り製品、「あ」から始まる名詞→あめ）、ルーブル美術館についてだけ「練馬」と答えるようになる。言い換え（「ルーブル美術館の所在地は？」）にも頑健に汎化する。 ## 考察: LLM の生物的な柔軟性 操舵ベクトルによる強制的な状態移動は、LLM にとって自然に生じる内部状態ではないにもかかわらず、モデルは壊れずに動き続ける。著者はこれを「歯車式の精密機械」ではなく「生物的な柔軟性と治癒力」（人工関節が馴染んで同化するイメージ）と表現し、この柔軟性が LLM の汎化性能や、[[joisino-モデルパラメータ算術-2024|モデルマージ]]のような粗い統合手法が機能する土台になっていると指摘する。 MLP へのピンポイント編集は、モデル全体をファインチューニングする従来手法に比べ、変更対象がごく一部の要素に限られるため副作用が少なく、計算資源も小さくて済む。加えて、こうした局所編集の成功自体が LLM の内部機構に関する仮説を裏付ける実証的検証としての意味を持つ——ブラックボックスな訓練と異なり、ピンポイント介入の成否がそのまま機構的解釈性の検証になる。 ## 出典・関連 - Arditi, A. et al. "Refusal in Language Models Is Mediated by a Single Direction." NeurIPS 2024. arXiv:2406.11717. - モデル: `llm-jp/llm-jp-4-8b-instruct`、`google/gemma-7b-it` - 著者の過去記事: [[joisino-LLMアテンションと外挿-2025]]（注意機構）、[[joisino-モデルパラメータ算術-2024]]（モデルマージ）、[[joisino-LLMのキモい算術-2025]]（ロジットレンズの別応用）