# カーネル法 ## 定義 カーネル法（kernel method）は、カーネル関数 $k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$（2 つのデータを受け取り実数値類似度を返す関数）に基づいたパターン認識・機械学習手法の総称である。核心定理として、$k$ がカーネル関数であることは、再生核ヒルベルト空間（RKHS）$\mathcal{H}$ と特徴マップ $\phi: \mathcal{X} \to \mathcal{H}$ が存在して $k(x, x') = \langle \phi(x), \phi(x') \rangle_\mathcal{H}$ が成り立つことと同値である。代表例はガウスカーネル $k_G(x, x') = \exp(-\|x - x'\|_2^2 / 2)$。(Source: [[joisino-トランスフォーマーはRNN-2024]]) ## 統計的正則化理論としてのRKHS [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8は、上記の定義と同じ数学的対象(正定値カーネル・特徴マップ・RKHS)を、統計的推定における罰則付き回帰の一般論として導入する。罰則付き損失最小化 $\min_{f\in\mathcal H_K}\sum_{i=1}^N L(y_i,f(x_i))+\lambda\|f\|_{\mathcal H_K}^2$ は、無限次元の関数空間 $\mathcal H_K$ 上で定義されているにもかかわらず、解が常に有限次元の核展開 $f(x)=\sum_{i=1}^N\alpha_iK(x,x_i)$ に一意に定まる(**kernel property**、式5.48-5.52)。これはカーネルの固有分解 $K(x,y)=\sum_i\gamma_i\phi_i(x)\phi_i(y)$(Mercer展開)と、ノルム $\|f\|_{\mathcal H_K}^2=\sum_ic_i^2/\gamma_i$(固有値が小さい「粗い」固有関数ほど強く罰する一般化ridge罰則)から導かれる。 具体例: - **多項式カーネル** $K(x,y)=(\langle x,y\rangle+1)^d$: $\binom{p+d}{d}$ 個の$d$次以下の多項式が張る空間に対応し、陽に基底を作らず核だけで高次交互作用項の縮小推定を計算できる。 - **ガウス動径基底関数カーネル** $K(x,y)=e^{-\nu\|x-y\|^2}$: 訓練点ごとに中心を置いたガウス基底の展開になる。カーネル行列 $K$ の固有値は急減衰するため、名目上は無限次元でも実効次元ははるかに小さい。 - **カーネルridge回帰**: 二乗誤差損失では解が $\hat\alpha=(K+\lambda I)^{-1}y$ という閉形式になり、空間統計学のkriging推定量とも一致する。 - **サポートベクター分類器**(Chapter 12): 損失をヒンジ損失 $[1-y_if(x_i)]_+$ に取り替えた同型の正則化問題であり、解が非零になる $\alpha_i$ が訓練データの部分集合(サポートベクター)に限られる。 平滑化スプライン([[平滑化スプライン]])やthin-plate splineも、この一般形において罰則をそれぞれ異なるグリーン関数由来のカーネルに取った特殊ケースとして統一的に位置づけられる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8, §5.8.1, §5.8.2) ## 横断的知見 - Transformer のアテンション機構は $\exp(\langle c_i, q \rangle)$ というカーネル関数に基づいた重み付き和として統一的に再解釈できる。このカーネルはガウスカーネルの特徴マップを $\exp(\|x\|_2^2/2)$ でスケーリングした $\phi_A$ による内積として書ける。内積の線形性を使うと KV キャッシュの総和が固定次元状態ベクトルとなり、[[Transformer]] が[[RNN]]に等価変換される。(Source: [[joisino-トランスフォーマーはRNN-2024]]) - 同様の再定式化は通常の勾配降下による重み内学習にも適用できる。ニューラルタンジェントカーネル（NTK）は初期パラメータにおける勾配を特徴マップとするカーネルであり、線形近似のもとで訓練後の重みも過去データとの NTK 類似度の重み付き和で書ける。文脈内学習と重み内学習は同質の手続きである。(Source: [[joisino-トランスフォーマーはRNN-2024]]) - **カーネル法は「アテンション機構の再解釈」と「教師なし次元削減の非線形化」という、生成時期も応用分野も異なる2つの文脈で独立に再利用される**: [[joisino-トランスフォーマーはRNN-2024]] はカーネル法をTransformerのアテンション機構の統一的再解釈に用いるのに対し、[[@2009__Springer__The Elements of Statistical Learning - Chapter 14 Unsupervised Learning]] §14.5.4 のカーネルPCA(Schölkopf et al., 1999)は、通常のPCAをRKHS $\mathcal{H}_K$ 上へ非線形化する目的でカーネル関数を用いる。両者に共通するのは「内積 $\langle\phi(x),\phi(x')\rangle$ をカーネル関数 $K(x,x')$ で置き換える(カーネルトリック)」という操作そのものであり、応用が2020年代のLLMアーキテクチャ解析(RNN等価変換)であっても2009年出版の統計的機械学習の教科書(教師なし次元削減)であっても、同じ数学的道具立てが繰り返し再発見されていることを示す。さらにESLは、放射カーネル $K(x,x')=\exp(-\|x-x'\|^2/c)$ を用いたカーネルPCAが、[[スペクトラルクラスタリング]]の類似度行列と同形になる(グラフラプラシアン $I-\tilde K$ とほぼ等価)と指摘しており、カーネル法とグラフベース手法(スペクトラルクラスタリング)の接続も示唆される。(Source: [[joisino-トランスフォーマーはRNN-2024]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 14 Unsupervised Learning]] §14.5.4) - **深層学習の文脈で使われる「特徴マップによる内積としてのカーネル」という再解釈と、統計学の古典的なRKHS正則化理論は、同一のMercer固有展開 $K(x,y)=\sum_i\gamma_i\phi_i(x)\phi_i(y)$ を異なる目的で使っている**: [[joisino-トランスフォーマーはRNN-2024]] はアテンションのカーネル $\exp(\langle c_i,q\rangle)$ を「無限次元の特徴マップを陽に計算せず内積だけで扱う」計算上のトリックとして導入し、KVキャッシュの線形化に使う。一方 [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8.1は同じ固有展開を「固有値 $\gamma_i$ が小さい粗い固有関数ほど強く罰する」正則化の道具として使う。前者は表現力を保ったまま計算量を落とすためにカーネルトリックを使い、後者は表現力(過学習)を意図的に抑えるためにカーネルの固有値構造を使う――同じ数学的対象が「計算量削減」と「複雑さ制御」という正反対に見える目的に使われている点が対照的である。(Source: [[joisino-トランスフォーマーはRNN-2024]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8.1) - **本ページが扱う「カーネル法」(RKHS上の内積カーネル)と、[[局所回帰]]で扱う「局所化のカーネル」は、同じ「カーネル」という語を使いながら数学的役割が異なる**: [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]]冒頭は、この2つの用法を明示的に区別する。第6章のカーネル$K_\lambda(x_0,x_i)$は目標点$x_0$の近傍だけに重みを与える局所化の装置であり、Nadaraya-Watson局所平均・局所線形回帰・カーネル密度推定に使われる。これに対し本ページで扱う第5章§5.8・第14章§14.5.4のカーネルは、高次元(暗黙の)特徴空間での内積$K(x,x')=\langle\phi(x),\phi(x')\rangle_{\mathcal H_K}$を計算する装置であり、正則化された非線形モデリングに使われる。両者は無関係ではなく、第6章§6.7が橋渡しする: Nadaraya-Watson推定量(局所化カーネルの加重平均)は正規化動径基底関数展開として書き直せ、この形は第5章の正則化解$f(x)=\sum_i\alpha_iK(x,x_i)$(式5.50)と数式上ほぼ同形になる。動径基底関数(radial basis function)は、局所化カーネルとRKHSカーネルという2つの異なる数学的対象が「訓練点を中心とした基底展開」という同じ表現形式に収束する接点である。この横断的知見は「第6章でのカーネル法の扱いは統計的正則化理論をどう深掘りするか」という上記の未解決の問いへの回答になる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 6 Kernel Smoothing Methods]] 冒頭, §6.7, [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8) - **第12章(サポートベクターマシン)は、「カーネルトリックはSVMに固有で次元の呪いを回避できる」という初期の主張を実験で反証し、カーネル法の一般性を裏付ける**: [[@2009__Springer__The Elements of Statistical Learning - Chapter 12 Support Vector Machines and Flexible Discriminants]] §12.3.1・§12.3.3は、SVMの双対目的関数・解がいずれも入力を内積 $\langle h(x),h(x')\rangle$ を通じてしか使わないことを示し、これを本ページが第5章§5.8から確立していた「罰則付き損失最小化の解は常に有限次元核展開 $f(x)=\sum_i\alpha_iK(x,x_i)$ に定まる」というkernel propertyの1インスタンス(損失関数をヒンジ損失に取り替えたケース、式12.27-12.29)として位置づける。さらに§12.3.4は、4変数の分離可能なデータに6個のノイズ変数を混ぜた実験で、多項式SVMがノイズ変数とカーネル次数の誤選択に敏感に劣化する一方、変数選択能力を持つ加法モデル(BRUTO・MARS)は頑健であることを示し、「カーネルの性質そのものが次元の呪いを回避する」という初期の主張を反証する。これは第5章のRKHS理論(カーネルは特徴空間の内積を計算する装置であり、部分空間構造への適応能力は別問題)と整合的であり、SVMを特別にしているのはカーネルではなくヒンジ損失という損失関数の選択であることが分かる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 12 Support Vector Machines and Flexible Discriminants]] §12.3.1, §12.3.3, §12.3.4) - **MMLはカーネル関数の存在条件を公理的に定義し、対称性・半正定値性という検証可能な条件に還元する**: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 12 Classification with Support Vector Machines]] §12.4は、関数 $k:\mathcal X\times\mathcal X\to\mathbb R$ がカーネルであることを「あるヒルベルト空間 $\mathcal H$ と特徴写像 $\varphi:\mathcal X\to\mathcal H$ が存在して $k(x_i,x_j)=\langle\varphi(x_i),\varphi(x_j)\rangle_{\mathcal H}$ を満たす」と定義したうえで、任意のカーネルに対して一意なRKHSが存在するというAronszajn(1950)の存在定理を明示し、実務上の判定条件をグラム行列の半正定値性 $\forall z:z^\top Kz\ge0$(式12.53)に落とし込む。これはESL第5章§5.8がMercer展開 $K(x,y)=\sum_i\gamma_i\phi_i(x)\phi_i(y)$ から出発してRKHSを構成する(構成的)アプローチと対照的に、存在定理と検証可能な代数的条件(半正定値性)から出発する(公理的)アプローチを取っており、同じRKHSという対象に到達する経路が異なる。またMMLは入力空間 $\mathcal X$ を $\mathbb R^D$ に限定せず、集合・系列・文字列・グラフ・分布にまで一般化できる点を明示しており、これはESL・joisinoのいずれも扱っていない一般性である。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 12 Classification with Support Vector Machines]] §12.4) - **カーネルトリックが「内積だけを置き換えればよい」ことの正当化に、正則化理論の経路(表現定理)と凸最適化の経路(ラグランジュ双対性)という独立な2通りがある**: ESL第5章§5.8はTikhonov正則化(罰則付き損失最小化)の解が常に有限次元カーネル展開になるという表現定理からカーネル置換を正当化するのに対し、MML第12章§12.3.1・§12.4はSVMの主問題をラグランジュ双対化した結果、双対目的関数が主変数を含まず訓練例間の内積のみに依存するという計算上の帰結からカーネル置換を正当化する。両者は独立の数学的経路([[縮小推定]]的な正則化理論 対 [[凸最適化]]理論)でありながら同じ操作(内積をカーネル関数で置き換える)に到達しており、[[サポートベクターマシン]]の横断的知見でも同じ非対称性を扱っている。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.8, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 12 Classification with Support Vector Machines]] §12.3.1, §12.4) ## 未解決の問い - RKHS の特徴マップは一般に無限次元であり直接計算できない。ランダム特徴量やナイストローム近似で近似するとき、どの程度の次元数で実用精度に達するか。データの本質的な低次元性はどのように事前に見積もれるか。 - ニューラルタンジェントカーネル（NTK）近似はパラメータがほとんど動かないという仮定（無限幅ネットワークの極限）に依拠している。実際の有限幅 LLM でこの近似は有効か。 - ESL §5.8.2はガウスカーネルの実効次元がスケールパラメータ $\nu$ に依存すると述べる(νが大きいほど局所的で実効次元が高い)。NTKの「実質的な特徴次元」も同様に何らかのスケールパラメータで制御できるか、両者の実効次元の概念は形式的に対応づけられるか。 - 第12章はカーネルが「特定の部分空間に適応できない」ことをノイズ変数実験で示したが、カーネル自体を適応的にする(マルチカーネル学習、計量学習付きカーネル)アプローチはこの限界をどこまで克服できるか。第6章の構造化カーネル(計量行列 $A$)との関係は未整理。 ## 関連 - [[Transformer]] — アテンション機構をカーネル法として解釈できる - [[線形注意]] — 有限次元カーネルで Transformer を近似するアプローチ - [[RNN]] — カーネル法の再定式化を通じて Transformer と等価変換される先 - [[文脈内学習]] — NTK によるカーネル再定式化が重み内学習と結ぶ概念 - [[スペクトラルクラスタリング]] — 放射カーネルによる類似度行列がグラフラプラシアンと同形になる - [[主成分分析]] — カーネルPCAはPCAをRKHS上へ非線形化した拡張 - [[平滑化スプライン]] / [[基底展開]] / [[縮小推定]] — RKHS正則化の統計学側の具体例 - [[局所回帰]] — 局所化の重み関数としてのカーネル。RKHSカーネルとは役割が異なるが動径基底関数(§6.7)で橋渡しされる - [[サポートベクターマシン]] — カーネルトリックの応用例。ヒンジ損失+RKHS罰則という損失+罰則の1インスタンス - [[凸最適化]] — MML第12章のカーネルトリック正当化はラグランジュ双対性という凸最適化の帰結として導かれる ## 出典 - [[joisino-トランスフォーマーはRNN-2024]]（§「カーネル法」〜§「カーネル法と注意機構」〜§「文脈内学習との関係」） - [[@2009__Springer__The Elements of Statistical Learning - Chapter 14 Unsupervised Learning]](§14.5.4 カーネル主成分分析) - Hastie, T., Tibshirani, R., Friedman, J., *The Elements of Statistical Learning*, 2nd Edition, Springer, 2009, Chapter 5, §5.8; Chapter 6, §6.7; Chapter 12, §12.3.1, §12.3.3-§12.3.4. - Deisenroth, M. P., Faisal, A. A., Ong, C. S., *Mathematics for Machine Learning*, Cambridge University Press, 2020, Chapter 12, §12.3.1, §12.4.