## 定義 SAE(Sparse Autoencoder、スパースオートエンコーダ)は、言語モデルの活性化ベクトルをエンコーダ・ReLU・スパースな特徴係数・デコーダの4段階パイプラインで再構成する辞書学習手法である。モデルの隠れ次元数よりも多い数の「概念」が同じ次元空間に重ね合わせて(superposition)エンコードされることで生じるpolysemanticity(1つのニューロンが複数の無関係な概念に反応する現象)を解消し、monosemanticity(1特徴=1概念)に近い特徴辞書を取り出すことを目的とする。(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) 代表例として、Anthropicが[[Anthropic|Claude]]に適用したSAEから抽出された「ゴールデンゲートブリッジ特徴」がある。この特徴は橋に関する英語テキスト・多言語テキスト・関連画像すべてに選択的に反応し、人為的に10倍増幅すると、モデルが自身をゴールデンゲートブリッジだと発話し始める(Anthropic, transformer-circuits.pub/2024/scaling-monosemanticity)。(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) ## 横断的知見 - SAEは「局所性・一対一対応」(1特徴=1概念)という強い仮定に依拠する手法だが、この仮定自体がfeature absorptionという現象で崩れる例が報告されている。「Starts with L」という解釈しやすい特徴が、一部の例外トークン(“laser”“lions”等)については別の特徴に「吸収」され、解釈しやすい特徴のコサイン類似度が0.6にとどまるのに対し吸収先の特徴では0.04〜0.06しか説明できない、という分裂が生じる(Chanin et al. 2024 "A is for Absorption")。(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) ## 未解決の問い - feature absorptionのような局所性の破れは、SAEのハイパーパラメータ(スパース性の強さ、辞書サイズ)をどう調整すれば緩和できるか。 - SAEで抽出した特徴の因果的な「使用」を、Activation Patchingのような介入なしに保証する方法はあるか。 ## 関連 - 概念: [[機構的解釈性]] / [[アテンションヘッド]] - エンティティ: [[Anthropic]] - ソース: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] ## 出典 - [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] — SAEの仕組みとゴールデンゲートブリッジ特徴・feature absorptionの解説