# 活性化外れ値 ## 定義 LLM の活性化(隠れ状態)分布には、トークン列を通じて一貫して大きな値を取る少数のチャネル(持続的チャネル単位外れ値、persistent channel-wise outlier)が存在する。トークン単位の動的量子化スケールはそのトークンの活性化ベクトルの最大絶対値で決まるため、これら外れ値チャネルが繰り返し量子化範囲を支配し、他の通常チャネルに使える実効的な量子化分解能を低下させる。この持続的構造は正規化や重み行列の乗算を通じて形成されると経験的に分析されている。(Source: [[@2026__arXiv__Understanding LLM Quantization through Activation-Guided Compensation and Orthogonal Residuals]]) 外れ値チャネルの数と大きさは分析上、トークン共有レベルを持つ持続的成分($X_{co}$)と残りのトークン依存変動を持つ正則成分($X_{reg}$)への分解(persistent sparse CO model)によって扱われ、[[アダマール回転]]によるチャネル間干渉の抑制や、正則成分に対するチャネルスケーリングの設計根拠として使われる。(Source: [[@2026__arXiv__Understanding LLM Quantization through Activation-Guided Compensation and Orthogonal Residuals]]) ## 未解決の問い - 外れ値チャネルの個数や大きさがモデル・層・活性化分布によってどう変化し、低ビット量子化での精度劣化の程度をどこまで説明できるかは完全には解明されていない(Source: [[@2026__arXiv__Understanding LLM Quantization through Activation-Guided Compensation and Orthogonal Residuals]])。