# 基底展開 ## 定義 基底展開(basis expansion)とは、説明変数 $X$ を$M$個の変換 $h_m(X):\mathbb{R}^p\to\mathbb{R}$ で置き換え、 $f(X)=\sum_{m=1}^M \beta_m h_m(X)$ という新しい導出変数空間での線形モデルとしてもとの非線形な $f(X)$ を近似する枠組みである。基底 $h_m$ をどう選ぶかは自由で、$h_m(X)=X_m$(元の線形モデルの復元)、$h_m(X)=X_j^2$ や $X_jX_k$(多項式・交互作用項)、$h_m(X)=\log(X_j)$(非線形変換)、$h_m(X)=I(L_m\le X_k<U_m)$(区間指示関数、区分定数モデル)などが典型例になる。基底が一度定まれば、当てはめ自体は通常の線形回帰と同じ手続きで進む点が本質的な利点である。基底の候補全体を辞書(dictionary)$\mathcal D$ と呼び、実務で使う辞書の要素数 $|\mathcal D|$ はデータに当てはめられる数よりはるかに大きいのが通例であり、辞書からどう複雑さを制御するかが本概念群全体の主題になる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.1) ## 複雑さ制御の3方式 辞書 $\mathcal D$ の複雑さを制御する方式は次の3つに分類される。 1. **restriction(制限)**: 事前にモデルの関数形自体を限定する。加法モデル $f(X)=\sum_j f_j(X_j)$(式5.2、各成分ごとに独立した基底 $M_j$ 個)が典型例で、Chapter 9の一般化加法モデル(GAM)へつながる。 2. **selection(選択)**: 辞書を適応的に走査し、当てはめに有意に寄与する基底だけを残す。[[部分集合選択]]の変数選択技法がそのまま流用でき、CART・MARS・boostingのような貪欲な逐次アルゴリズムもここに属する。 3. **regularization(正則化)**: 辞書全体を使いつつ係数に罰則を課す。[[縮小推定]]のridge回帰が単純な例であり、lassoは正則化と選択の両方を兼ねる。本章の[[平滑化スプライン]]・ウェーブレット平滑化(SUREシュリンケージ)もここに属する。 この3分類は本章に限らず、以降の章(区分多項式・スプライン=制限、CART・MARS・boosting=選択、ridge/lasso・平滑化スプライン=正則化)を横断して整理できる上位の枠組みである。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.1) ## 基底の具体例 - **区分多項式・スプライン基底**: 結び目 $\xi_1,\dots,\xi_K$ で区切った区間ごとの多項式。連続性制約を課すと order-$M$ スプラインに至り(3次スプラインは $M=4$)、切断べき基底 $h_j(X)=X^{j-1}$, $h_{M+\ell}(X)=(X-\xi_\ell)_+^{M-1}$ で表現できる。境界外で線形という制約を追加すると自然3次スプラインになり、境界近傍の分散爆発を抑えられる。数値的にはB-スプライン基底(局所支持を持つ)の方が安定。 - **フィルタ・射影による特徴抽出**: $p\times M$ の基底行列 $H$ を作り、元の特徴を $x^*=H^Tx$ に変換してから任意の学習手続きに渡す(§5.3)。ウェーブレット変換で信号・画像を前処理してからニューラルネットワークに渡す、という使い方(Chapter 11)もこの一般化にあたる。 - **tensor product基底**: $d$ 変量では1次元基底の直積 $g_{jk}(X)=h_{1j}(X_1)h_{2k}(X_2)$ で多次元基底を構成できるが、次元数とともに基底の数が指数的に増える(次元の呪いの一例)。 - **完備な直交基底とウェーブレット**: スプラインが局所的な多項式基底であるのに対し、ウェーブレット(Haar・symmlet等)は完備な直交基底でありながら時間・周波数の両方で局在する。同じ辞書サイズでも、区分多項式基底は滑らかさを、ウェーブレット基底はスパース性(まばらな孤立したバンプ)を効率よく表現できるという役割分担がある。 (Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.2, §5.3, §5.7, §5.9) ## 横断的知見 - **同一の辞書に対し「選択」と「正則化」という異なる複雑さ制御を適用すると、離散対連続という第3章と同型の対立軸が現れる**: [[部分集合選択]]と[[縮小推定]]が線形回帰の係数空間で対比する「離散的な変数の取捨選択」対「連続的な係数の縮小」という軸は、基底展開の文脈では「regression spline(射影平滑化器、二値選択)」対「平滑化スプライン(shrinking smoother、連続縮小)」としてそのまま再現される。ウェーブレット平滑化のSUREシュリンケージ(L1罰則によるソフト閾値処理)はさらに、正則化(縮小)と選択(閾値以下の係数をゼロにする)を同時に行う点でlassoと数学的に同一の構造を持つ。3つの複雑さ制御方式は独立ではなく、罰則の形(L0=選択、L2=純粋な縮小、L1=縮小と選択の両方)という共通の座標軸上に位置づけられる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 3 Linear Methods for Regression]] §3.3-§3.4, [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.4.1, §5.9) - **第12章はカーネルトリックを「基底展開を陽に計算せずに済ませる計算上のショートカット」として位置づけ、regularizationの具体例をさらに1つ増やす**: サポートベクターマシン(第12章§12.3.1)は、基底展開 $h(x)$ で特徴空間を拡大したうえで線形手法(サポートベクター分類器)を適用するという、本ページが定義した基底展開の枠組みそのものに従う。異なるのは、拡大次元 $M$ が非常に大きい(無限大の場合もある)ため、$h$ を陽に計算する代わりにカーネル関数 $K(x,x')=\langle h(x),h(x')\rangle$ だけで済ませる点である。SVMは辞書 $\mathcal D$ を有限個の基底に絞る代わりに、無限次元の辞書を暗黙のまま使い、複雑さの制御はもっぱらL2罰則(regularization)が担う。同様に柔軟判別分析(FDA、§12.5)は、LDAで使う線形回帰 $\eta(x)=x^T\beta$ を非線形な基底展開回帰(加法スプライン・MARS)に置き換えることで非線形決定境界を得る、という「基底展開してから線形手法を適用する」パラダイムの分類版である。両者(SVM・FDA)は、restriction・selection・regularizationの3分類のうちregularizationとselectionをそれぞれ担う具体例が回帰だけでなく分類にも及ぶことを示す。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 12 Support Vector Machines and Flexible Discriminants]] §12.3.1, §12.5) - **boostingが「選択」と「正則化」のどちらに属するかという境界問題に、ESL第16章は「両方を同時に行う」という明確な答えを与える**: 本ページの未解決の問いは、boostingが選択(貪欲な逐次アルゴリズム)に分類されつつ縮小学習率・早期終了という正則化的性質も持つことの境界を問うていた。第16章§16.2.1は、木を基底とする辞書 $\mathcal T=\{T_k\}$ 上でのブースティングの前向き段階的加法モデリング(縮小率 $\nu$ つき)が、罰則 $J(\alpha)=\sum_k|\alpha_k|$(lasso、式16.4)を課した正則化(式16.2)を近似することを示す。lassoは本ページの3分類のregularizationに属しつつ「正則化と選択の両方を兼ねる」(本ページ§複雑さ制御の3方式)と既に述べたとおり、L1罰則は連続的な係数の縮小(regularization)と同時に一部の係数を厳密にゼロにする(selection)という性質を持つ。boostingの縮小学習率(ステップ幅 $\varepsilon\to0$ の極限)は、この木の辞書上でのlassoパスを辿る速度を制御しており、辞書の各要素を「選ぶ」動作(前向き段階的アルゴリズムが各反復で1つの木を選ぶ)と「縮小する」動作(選ばれた係数を微小量だけ動かす)が単一の手続きに統合されている。したがってboostingは選択と正則化の境界上にあるのではなく、辞書がL1罰則付き正則化パスを近似する「選択かつ正則化」の具体例として、本ページの3分類にlassoと同格で位置づけられる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.9, [[@2009__Springer__The Elements of Statistical Learning - Chapter 16 Ensemble Learning]] §16.2.1) - **ニューラルネットワークは、基底そのもの(基底関数のパラメータ)を訓練データから学習することで、本ページの3分類のいずれとも異なる第4の複雑さ制御を導入する**: 本ページの「複雑さ制御の3方式」はrestriction・selection・regularizationのいずれも、辞書 $\mathcal D$ の要素 $h_m$ 自体は固定し(あらかじめ数学的に定義された基底関数)、その使い方(制限・選択・縮小)だけを制御する枠組みだった。[[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]] §11.3のニューラルネットワークは、隠れユニット $Z_m=\sigma(\alpha_{0m}+\alpha_m^TX)$ を「学習される基底展開」として提示する。$\sigma$ という関数形は固定するが、各基底が向く方向 $\alpha_m$ と閾値 $\alpha_{0m}$ 自体を、辞書の選択や罰則ではなく[[誤差逆伝播法]]による勾配降下で直接データから最適化する点が、本ページのどの分類にも当てはまらない拡張になっている。それでも過学習の抑制には本ページのregularizationと同型の手法(weight decay、[[縮小推定]]参照)が使われ、「基底をどう選ぶか」という設計上の自由度が「基底のパラメータをどう最適化するか」という学習上の自由度に置き換わっただけで、複雑さの制御という主題自体は保たれる。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] §5.1, [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]] §11.3, §11.5.2) ## 未解決の問い - ニューラルネットワークの「学習される基底」は、restriction・selection・regularizationの3分類とは独立な第4の軸(パラメトリックな基底最適化)として一般化できるか。射影追跡回帰(PPR)のノンパラメトリックなリッジ関数 $g_m$ とニューラルネットワークのパラメトリックな $\sigma$ の違いは、この軸の両端をなすと言えるか。 - tensor product基底による多次元展開は指数的にコストが増えるため、実務ではMARS(Chapter 9)のような貪欲algorithmで必要な項だけを選ぶ。辞書のサイズと選択algorithmの探索効率のトレードオフを定量化する一般論はあるか。 - SVMのカーネルトリックは「基底を陽に計算しない」という計算上の利点を持つが、この利点は基底展開一般(regression spline・tensor product基底)にどこまで一般化できるか。カーネル法が使えない(内積だけでは表現できない)基底展開の具体例はあるか。 - 第16章のRule Ensembles(木のノードから規則を切り出して過完備な基底を作る)は、本ページの基底の具体例(区分多項式・tensor product等)と同じ「辞書設計」の系譜に位置づけられるが、木由来の規則基底とスプライン・ウェーブレット基底との間で、複雑さ制御(3方式)の効き方に違いはあるか。 ## 関連 - 概念: [[平滑化スプライン]](regularizationの具体例) / [[縮小推定]] / [[部分集合選択]] / [[統計的機械学習]] / [[カーネル法]](基底を陽に計算しない拡張) / [[サポートベクターマシン]](暗黙の基底展開+regularization) / [[アンサンブル学習]](木・規則を基底とする辞書、boostingの選択+正則化) / [[誤差逆伝播法]](学習される基底のパラメータ最適化) - ソース: [[@2009__Springer__The Elements of Statistical Learning - Chapter 5 Basis Expansions and Regularization]] / [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]](基底を学習する拡張) / [[@2009__Springer__The Elements of Statistical Learning - Chapter 12 Support Vector Machines and Flexible Discriminants]](カーネルトリック・FDA) / [[@2009__Springer__The Elements of Statistical Learning - Chapter 16 Ensemble Learning]](木・規則を基底とするアンサンブル) ## 出典 - Hastie, T., Tibshirani, R., Friedman, J., *The Elements of Statistical Learning*, 2nd Edition, Springer, 2009, Chapter 5, §5.1-§5.3, §5.7, §5.9; Chapter 11, §11.3, §11.5.2; Chapter 12, §12.3.1, §12.5; Chapter 16, §16.2.1, §16.3.2.