# GAM ## 定義 一般化加法モデル(Generalized Additive Model, GAM)は、応答 $Y$ の条件付き平均 $\mu(X)$ をリンク関数 $g$ を介して説明変数ごとの平滑化関数の和で表すモデルである。 $g[\mu(X)] = \alpha + f_1(X_1) + f_2(X_2) + \cdots + f_p(X_p)$ 各 $f_j$ は特定の関数形を仮定しない滑らかな(ノンパラメトリック)関数で、三次平滑化スプラインやカーネル平滑化器などの散布図平滑化器で推定する。線形モデルの加法性・解釈性を保ちながら、各説明変数の効果に非線形性を許すのがGAMの狙いである。リンク関数の代表例は恒等リンク(ガウス応答)、ロジットリンク・プロビットリンク(二項確率)、対数リンク(ポアソン計数データ)であり、いずれも指数型分布族から導かれる一般化線形モデル(GLM)をGAMへ拡張したものとみなせる(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 9 Additive Models, Trees, and Related Methods]] §9.1)。 ### バックフィッティング(backfitting) GAMの推定は、罰則付き二乗和 $\text{PRSS}(\alpha, f_1,\ldots,f_p) = \sum_i (y_i - \alpha - \sum_j f_j(x_{ij}))^2 + \sum_j \lambda_j \int f_j''(t_j)^2 dt_j$ を最小化する加法的三次スプラインモデルとして定式化できる。この最小化を実現する反復アルゴリズムが**バックフィッティング**である: 各 $f_j$ を、他の関数の現在の推定値を差し引いた残差 $\{y_i - \hat\alpha - \sum_{k\neq j}\hat f_k(x_{ik})\}$ に平滑化スプラインを当てはめる操作を、$\hat f_j$ が収束するまで各説明変数について順に繰り返す。ロジスティック回帰などの一般化加法モデルでは、ニュートン-ラフソン法をIRLS(反復重み付き最小二乗)として再定式化し、重み付きバックフィッティングを内側のループに使う「局所スコアリングアルゴリズム」を用いる(Source: 同上 §9.1.1, §9.1.2)。 ### 実務上の利点と限界 GAMはデータ分析ツールとして、対話的に項を追加・削除しながら効果を確認する用途にも使われ、$\text{df}_j=1$(線形モデル)から柔軟な平滑化までシームレスに移行できる。一方でバックフィッティングは全説明変数を毎回フィットするため、大規模データマイニング応用では実行可能・望ましいとは限らない。大規模問題では第10章のブースティングのような前向き段階的手法の方が効果的であり、交互作用も扱いやすい(Source: 同上 §9.1.3)。 ## 横断的知見 (この concept は現時点で ESL 第9章のみを出典とする。今後の ingest で複数ソースの突き合わせが可能になった時点で追記する。) ## 未解決の問い - spamデータではGAM(テスト誤分類率5.3%、ROC AUC 0.98)が決定木(9.3%、AUC 0.95)を明確に上回るが、これは決定木の分割が本質的に不利な問題設定なのか、それとも決定木側のチューニング(木サイズの選択等)に依存する結果なのか、ESL第9章の記述だけでは切り分けられない。 - GAMのバックフィッティングは大規模データマイニングに不向きとされ、スパース加法モデル(COSSO、SpAM)への言及があるが、これらとGAMの精度・解釈性のトレードオフはESL第9章では詳述されない。 ## 関連 - ソース: [[@2009__Springer__The Elements of Statistical Learning - Chapter 9 Additive Models, Trees, and Related Methods]] - 概念: [[決定木]] / [[MARS]] - 関連 MOC: (該当なし) ## 出典 - [[@2009__Springer__The Elements of Statistical Learning - Chapter 9 Additive Models, Trees, and Related Methods]](§9.1 Generalized Additive Models)