# 操舵ベクトル（steering vector） ## 定義 LLM の内部状態（残差ストリーム上のベクトル）を特定の方向へ強制的に動かすことで、モデルの出力の振る舞いを操作する介入手法、およびそこで用いる方向ベクトルのこと。2群の入力（例: 丁寧語 vs 関西弁）を処理させたときの内部状態の平均位置の差分として求められ、通常生成中の状態にこのベクトルを加算するだけで、文脈情報を保ったまま特定の属性（トーン・従順さ等）だけを切り替えられる。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ## 求め方と効果 1. 属性が対照的な入力群（丁寧語の文 32 個・関西弁の文 32 個 等）をモデルに処理させ、内部状態を記録する。 2. 各群の内部状態の平均位置を求め、一方から他方へ向かうベクトルを操舵ベクトルとする。 3. 生成時に、任意の位置の内部状態へこのベクトルを加算し、続きを生成させる。 `llm-jp/llm-jp-4-8b-instruct` での実験では、丁寧語入力から求めた操舵ベクトルを謝罪文の生成に適用すると、「心よりお詫び申し上げます」が「ほんまにごめんや！👊」に変わる一方、謝罪しているという文脈自体は保持される。単一の局所例（日本語の丁寧語/関西弁）から求めたベクトルが、別の日本語文や英語入力にも汎化してフランク化効果をもたらすことが観察されている。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ## 命令拒否方向（Arditi et al., NeurIPS 2024） 最も実用上重要な操舵ベクトルの例が、LLM の命令拒否/受諾を制御する単一方向である。Arditi ら（arXiv:2406.11717）は、広範なモデルで「LLM が命令を拒否するかどうか」が1つの操舵方向で表現されていることを示した。拒否方向を抑制すると有害な命令にも従うようになり、逆方向に強制移動させると無害な命令すら拒否するようになる。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]、[[活性化パッチング]]) ## 知識量による限界 操舵ベクトルは態度・トーンといった「ふるまい」のレベルでは強力だが、モデルが持たない知識までは引き出せない。`google/gemma-7b-it` に爆弾製造チュートリアルを操舵ベクトルで強制的に出力させても、実際に出てくるのは重曹・クエン酸・エプソムソルトを混ぜるバスボット（入浴剤）の作り方であり、これはモデルが本物の爆弾知識を持たないまま命令に従おうとした結果と考えられる。つまり操舵ベクトルは従順さを操作できても、存在しない知識を捏造して補うことはできない。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ## 生物的な柔軟性という解釈 操舵ベクトルによる強制的な状態移動は、モデルにとって自然に生じる内部状態ではないにもかかわらず、LLM は破綻せずに動作し続ける。これは LLM が「歯車式の精密機械」ではなく「生物的な柔軟性と治癒力」を持つことを示唆し、この柔軟性が訓練データと異なる様式の質問への汎化性能や、[[joisino-モデルパラメータ算術-2024|モデルマージ]]のような粗い統合手法が機能する土台になっていると考えられている。(Source: [[joisino-LLMの脳内をハッキングする技術-2026]]) ## 関連概念との違い - [[タスクベクトル]]・[[関数ベクトル]]はモデルパラメータ間、または few-shot 例から抽出される「タスク」を表すベクトルであるのに対し、操舵ベクトルは「トーン」「拒否/受諾」のような1軸の属性・態度を切り替えるベクトルであり、対象とする粒度が異なる。 - [[活性化パッチング]]は他の入力の活性化・ゼロ・平均値など任意の値への置き換えを含む広義の因果的介入手法だが、操舵ベクトルはそのうち「2群の平均差」から求めた方向への加算という特定の手法を指す。 ## 未解決の問い - 介入後の動作の不安定性や、介入時と適用時で条件が異なると効果が発揮されないことがある制限は、どのような場合に顕在化するか。 - 複数の操舵ベクトル（トーン・拒否方向 等）を同時に加算した場合、干渉やスライダー間の非独立性は生じるか。 ## 関連ページ - [[活性化パッチング]] — より広義の因果的介入手法。拒否方向の操作例を共有 - [[知識編集]] — MLP を対象とした、より精密な知識単位の介入 - [[機構的解釈性]] — 方法論的文脈 ## 出典 - [[joisino-LLMの脳内をハッキングする技術-2026]] — 操舵ベクトルの解説と実験例