# 知識編集（knowledge editing） ## 定義 LLM の内部にある特定の事実知識を、MLP（多層パーセプトロン）の内部機構を利用してピンポイントで書き換える介入手法。モデル全体をファインチューニングする従来の訓練とは異なり、特定層の特定の計算経路だけを狙い撃ちして知識を差し替える。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ## 前提: 残差ストリームと MLP Transformer 系 LLM の多くは、1トークンずつ単語を生成する自己回帰デコーディングを行い、注意機構と MLP が交互に処理を行いながら残差ストリーム（residual stream、入力から出力へ貫く状態の総和経路）に状態を足し込んでいく。注意機構は既出単語の状態を参照して文脈を取り込み、MLP は知識の抽出・変換操作を担う。`llm-jp/llm-jp-4-8b-instruct` ではこの注意機構+MLP の処理を32回繰り返す。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ## 手順 ### 1. ロジットレンズで書き込み層を特定する [[ロジットレンズ]]を用いて、本来は全32層の変換が終わったあとに行う「状態ベクトル→単語」の変換を、残差ストリームの途中で強制的に行い、各層時点での予測トークンの推移を観察する。「Q: ルーブル美術館があるのは？\nA: 」という入力では、第15〜17層で「都市名を出すべき」という文脈が読み取れ、第28層で「Paris」という具体的な答えに定まり、第31層で日本語「パリ」に変換される様子が確認できる。この観察から、第28層付近の MLP がこの知識の書き込みを担っているとあたりをつけられる。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ### 2a. 粗い介入 — 出力ベクトルの丸ごと置換 対象層の MLP 出力を目的の単語ベクトル（例: 「練馬」）へそのまま置き換える方法。この方法だとルーブル美術館の位置を「練馬」と答えるようにはなるが、介入が強すぎて無関係な質問（エッフェル塔の位置、「ちくわ・かまぼこ」の呼称、「あ」から始まる名詞）にまで軒並み「練馬」と答えてしまう副作用が生じる。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ### 2b. 精密な介入 — 回転軸の部分的な書き換え MLP は本質的にベクトルを回転させる行列計算であり、「ある知識を問う状態ベクトル」を「答えの単語ベクトル」へ回転させることで入出力を対応づけている。この対応関係のうち**1つの回転軸だけ**を目的の回転先（「練馬」）に書き換え、他の軸には一切手を加えずに層をすげ替えると、無関係な質問には元通り正しく答えつつ（エッフェル塔→パリ、ちくわ・かまぼこ→練り製品、「あ」から始まる名詞→あめ）、狙った知識（ルーブル美術館の場所）だけを書き換えられる。この編集は「ルーブル美術館の所在地は？」のような言い換えにも汎化する。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ## 従来のファインチューニングとの対比 | 観点 | ファインチューニング | 知識編集（MLP回転軸の部分書き換え） | |---|---|---| | 変更範囲 | モデル全体のパラメータ | 特定層の特定回転軸のみ | | 副作用 | 他タスクへの影響が生じやすい | 局所的で他タスクへの影響が少ない | | 計算資源 | 大 | 小 | | 解釈可能性 | ブラックボックス | 成功自体が内部機構の仮説を裏付ける実証的検証になる | (Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ## [[知識操作]] との違い [[知識操作]]（knowledge manipulation、[[Physics of Language Models]] Part 3.2）は、LLM が訓練で得た知識を推論時にどう変換・比較・逆引きできるか（あるいはできないか）という**能力の限界**を扱う概念であるのに対し、知識編集は訓練後のモデルへ**外部から介入して知識そのものを書き換える**手法である。前者は「LLM は何ができないか」、後者は「LLM に何を強制できるか」という異なる問いに答える。 ## 関連ページ - [[ロジットレンズ]] — 編集対象層を特定するための解析ツール - [[活性化パッチング]] — より広義の因果的介入手法のファミリー - [[操舵ベクトル]] — 態度・トーンレベルの粗い介入との対比 - [[知識操作]] — 介入ではなく LLM 自身の知識運用能力の限界 ## 未解決の問い - 介入後の動作に不安定性が残ることや、介入時と条件が異なると効果が発揮されないことがある制限はどの程度深刻か。 - 「1つの回転軸だけ」を特定・書き換える手続きは、事前にロジットレンズで層を絞り込んだ上での試行錯誤に依存しており、体系的な自動化はどこまで可能か。 ## 出典 - [[joisino-LLMの脳内をハッキングする技術-2026]] — MLP を用いた知識編集の解説と実験例