# アダマール回転 ## 定義 アダマール回転は、正規化アダマール行列 $H$(直交行列、全成分が同じ大きさ $1/\sqrt{d}$、$O(d\log d)$ の高速変換を持つ)を用いて活性化座標を変換する出力保存変換の一種である。対応する逆変換を重み側に吸収させることで full-precision の線形層出力を変えずに、少数のチャネルに集中した大きな値([[活性化外れ値]])を変換後の全座標へ分散させ、低ビット量子化への適応性を高める。ランダムな対角符号行列 $D$ と組み合わせたランダム化アダマール変換(randomized Hadamard transform)は、座標平坦化(coordinate flattening)と非コヒーレンス処理の標準的な手法として QuIP#・QuaRot などで用いられる。(Source: [[@2026__arXiv__Understanding LLM Quantization through Activation-Guided Compensation and Orthogonal Residuals]]) 固定符号のアダマール回転では、複数の持続的外れ値チャネルの寄与が特定の変換後座標で建設的に干渉しうるため、外れ値チャネル数 $N_{co}$ の二乗に依存する誤差が生じるのに対し、ランダムな符号を用いるとチャネル間の寄与がラーデマッハ和に変換され、期待値上で干渉項が打ち消し合うことで依存性が $N_{co}$ の一乗(対数因子込み)まで低減される。(Source: [[@2026__arXiv__Understanding LLM Quantization through Activation-Guided Compensation and Orthogonal Residuals]]) ## 未解決の問い - オフライン回転だけでなく、attention 出力・FFN down projection・RoPE 後の query/key に対するオンラインのアダマール回転にもランダム符号を適用することの効果は、手法ごとに個別に検証されてきており、統一的な設計原理としてどこまで一般化できるかは今後の検証課題である(Source: [[@2026__arXiv__Understanding LLM Quantization through Activation-Guided Compensation and Orthogonal Residuals]])。