# MARS ## 定義 MARS(Multivariate Adaptive Regression Splines)は、区分線形基底関数 $(x-t)_+$ と $(t-x)_+$(「反射対」)の積を前向きに逐次追加し、汎化交差検証(GCV)基準で後ろ向きに刈り込む、高次元問題向けの適応的回帰手法である。段階的線形回帰の一般化、あるいはCARTを回帰向けに改良したものとみなせる(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 9 Additive Models, Trees, and Related Methods]] §9.4)。 ### モデル構築の手順 各説明変数 $X_j$ の観測値ごとに知識点(knot) $t$ を持つ反射対の集合 $C=\{(X_j-t)_+,(t-X_j)_+\}$ を候補基底とし、モデルは $f(X)=\beta_0+\sum_m \beta_m h_m(X)$ の形を取る($h_m$ は $C$ の要素またはその積)。前向き段階では、定数関数のみから始め、各段で「モデル内の関数」と「候補反射対」の積のうち訓練誤差を最も減らすものを追加する。この過程は多くの場合過学習するため、残差二乗誤差の増加が最小の項を逐次削除する後ろ向き削除を行い、汎化交差検証 $\text{GCV}(\lambda) = \frac{\sum_i (y_i - \hat f_\lambda(x_i))^2}{(1-M(\lambda)/N)^2}$ を最小化するモデルサイズ $\lambda$ を選ぶ。$M(\lambda)$ は有効パラメータ数で、線形独立な基底関数数 $r$ と選択されたノット数 $K$ から $M(\lambda)=r+cK$($c=3$、加法モデルに制限する場合は $c=2$)として近似する(Source: 同上 §9.4)。 ### CARTとの関係 MARSの前向き手続きは、区分線形基底関数を階段関数 $I(x-t>0), I(x-t\leq 0)$ に置き換え、かつ「モデル項が候補項との積に使われたら以降の交互作用には使えなくなる」という制約を加えると、CARTの木成長アルゴリズムと一致する。この第2の制約が決定木の二分木表現(解釈性の源)を生む一方、加法構造の学習を難しくする原因でもある。MARSはこの制約を外すことで木構造を放棄し、代わりに加法構造を捉える能力を得る(Source: 同上 §9.4.3)。 ## 横断的知見 (この concept は現時点で ESL 第9章のみを出典とする。今後の ingest で複数ソースの突き合わせが可能になった時点で追記する。) ## 未解決の問い - ESL第9章のシミュレーションでは、テンソル積構造(scenario 1・2)にMARSがほぼ完璧に適合する一方、ニューラルネットワーク型の構造(scenario 3、$Y=\sigma(\ell_1)+\sigma(\ell_2)$)では性能が明確に劣化する($R^2$: 0.97/0.96 対 0.79)とされる。この劣化はMARSの区分線形基底が持つ「局所性」がシグモイド型の大域的な非線形性を表現しにくいためと推測できるが、章の本文では明示的な理由は述べられていない。 - MARSは決定木の弱点(非滑らかな予測面・加法構造の学習困難)を補うと位置づけられるが、決定木の不安定性(instability)の問題もMARSで緩和されるのか、ESL第9章では明言されていない。 ## 関連 - ソース: [[@2009__Springer__The Elements of Statistical Learning - Chapter 9 Additive Models, Trees, and Related Methods]] - 概念: [[決定木]] / [[GAM]] - 関連 MOC: (該当なし) ## 出典 - [[@2009__Springer__The Elements of Statistical Learning - Chapter 9 Additive Models, Trees, and Related Methods]](§9.4 MARS: Multivariate Adaptive Regression Splines)